robots txt для wordpress {lang: ‘ru’}
Файл robots. txt для wordpress очень нужная штука. Для локальной версии сайта, т. е. если вы установили wordpress к себе на компьютер, чтобы узнать о всех возможностях этого движка, проще говоря для учебы, то можете про этот файл не вспоминать. Но вот, если вы решили выложить свой блог на просторы интернета, то конечно, без этого файла не обойтись. А чем же хорош этот файл? Ну, если по простому то файл robots. txt помогает поисковику определять, что нужно»транслировать»в поисковой выдаче, а что нет. А для самого хозяина блога это классно тем, к примеру, что никто не увидит ваши»нежелательны»записи или целые разделы. Поэтому важно, чтобы такая вещь как robots была. Ну, хорошо, скажете вы ну нужен такой файл текстовый (потому что расширение txt), но как правильный robots txt для wordpress создать? Для начала пара рекомендаций:
— файл robots создавать нужно только с расширением. txt и имя файла должно быть озаглавлено маленькими буквами вот так — robots. txt;
— размещать файл следует прямо в корневом каталоге wordpress, т. е. не нужно прятать его куда-то;
— сохранять его надо в utf.
Вы можете скачать нормальный файл robots. txt для wordpress по этой ссылке — скачать! . Коснемся немного содержимого файла robots. txt
User-agent — само по себе это обращение к браузера к веб-сайтам, браузерам, поисковикам, мобильникам и т. д. Определяет доступ к этим приложениям — вроде запрещено/позволительно.
В файле, который вы скачали User-agent: * — это означает, что запрещено для всех пауков (поисковиков, типа Googla, Yandex и т. п.)индексировать следующие после ключевого слова»Disallow» и знака»:»разделы и т. п.
Ну, а там где User-agent: Yandex понятно, что это обращение к пауку Yandex. Ну и Disallow при нем. Там, где запись»Host:»там прописываете имя своего сайта.
И милая девочка поющая про документ robots любовь. [embedded content]