Как создать файл Robots.txt в WordPress

Файл Robots.txt это простой текстовый файл, в котором вы можете прописать некоторые инструкции для поисковых роботов. Эти инструкции уточняют, как поисковикам следует производить индексацию ваших страниц, что индексировать, а что — нет. Применение файла Robots.txt очень распространенная практика в создании и оптимизации сайтов, это удобно как для владельцев сайтов, так и для поисковиках. Поэтому, создав сайт на WordPress, не забудьте составить грамотный Robots.txt.

В WordPress применять Robots.txt особенно актуально, из-за некоторых особенностей этого движка. WordPress любит создавать дубли страниц — одинаковые страницы, доступные по разным адресам (рубрики, метки, архивы…). К тому же на сайте на WordPress содержится большое количество страниц, не несущие важную информацию для пользователей, а служащие для вспомогательных целей. В наших интересах исключить все эти страницы из индекса, а оставить только самое важное — наши статьи. Такой подход приветствуется поисковиками.

Итак, файл Robots.txt в WordPress — это текстовый файл в формате .txt, который вы должны загрузить в корневой каталог вашего сайта. После этого он должен быть доступен по адресу: ваш сайт/Robots.txt.

Правила составления Robots.txt в WordPress весьма просты. В основном нам потребуется использовать следующие основные директивы:

User-agent: здесь мы указываем название поискового робота, которому предназначена команда. Если мы укажем здесь знак * , то это обозначает, что директива создана для всех поисковиков.

Disallow: здесь следует указать, какие страницы мы хотим скрыть от индексации.

Sitemap: – путь к карте сайта в формате sitemaps.xml.

Host: — директива для Яндекса, в которой можно указать главное зеркало сайта (адрес сайта с www. или без).

Теперь ваша задача составить правильный Robots.txt. Или можно просто воспользоваться уже готовыми вариантами. К примеру, вы можете разместить у себя следующий файл:

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Host: ваш сайт.ru

Sitemap: http://ваш сайт/sitemap.xml

Sitemap: http://ваш сайт/sitemap.xml.gz

В этой статье мы поговорили о том, как создать файл Robots.txt в WordPress. Правильно составленный Robots.txt поможет поисковым роботам осуществлять более грамотную индексацию страниц вашего сайта.