Файл Robots.txt это простой текстовый файл, в котором вы можете прописать некоторые инструкции для поисковых роботов. Эти инструкции уточняют, как поисковикам следует производить индексацию ваших страниц, что индексировать, а что — нет. Применение файла Robots.txt очень распространенная практика в создании и оптимизации сайтов, это удобно как для владельцев сайтов, так и для поисковиках. Поэтому, создав сайт на WordPress, не забудьте составить грамотный Robots.txt.
В WordPress применять Robots.txt особенно актуально, из-за некоторых особенностей этого движка. WordPress любит создавать дубли страниц — одинаковые страницы, доступные по разным адресам (рубрики, метки, архивы…). К тому же на сайте на WordPress содержится большое количество страниц, не несущие важную информацию для пользователей, а служащие для вспомогательных целей. В наших интересах исключить все эти страницы из индекса, а оставить только самое важное — наши статьи. Такой подход приветствуется поисковиками.
Итак, файл Robots.txt в WordPress — это текстовый файл в формате .txt, который вы должны загрузить в корневой каталог вашего сайта. После этого он должен быть доступен по адресу: ваш сайт/Robots.txt.
Правила составления Robots.txt в WordPress весьма просты. В основном нам потребуется использовать следующие основные директивы:
User-agent: здесь мы указываем название поискового робота, которому предназначена команда. Если мы укажем здесь знак * , то это обозначает, что директива создана для всех поисковиков.
Disallow: здесь следует указать, какие страницы мы хотим скрыть от индексации.
Sitemap: – путь к карте сайта в формате sitemaps.xml.
Host: — директива для Яндекса, в которой можно указать главное зеркало сайта (адрес сайта с www. или без).
Теперь ваша задача составить правильный Robots.txt. Или можно просто воспользоваться уже готовыми вариантами. К примеру, вы можете разместить у себя следующий файл:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: ваш сайт.ru
Sitemap: http://ваш сайт/sitemap.xml
Sitemap: http://ваш сайт/sitemap.xml.gz
В этой статье мы поговорили о том, как создать файл Robots.txt в WordPress. Правильно составленный Robots.txt поможет поисковым роботам осуществлять более грамотную индексацию страниц вашего сайта.