Подсказки на компьютерную тематику

Можно подсмотреть, если забыли…

Где искать и как настроить файл robots.txt

Как правильно сделать robots.txt для сайта


Как добавить Sitemap в robots.txt


Чтобы показать поисковому роботу, где расположена карта сайта XML, надо добавить строчку в файл robots.txt:
Sitemap: http://сайт.ru/sitemap.xml # как пройти на sitemap.xml
где сайт.ru – доменное имя сайта.

Стандартный файл robots.txt для WordPress


Файл robots.txt содержит параметры, которые необходимо сообщить поисковым системам Яндекс, Google и другим.
Стандартный файл robots.txt для WordPress можно взять отсюда: https://wp-kama.ru/id_803/pishem-pravilnyiy-robotstxt-dlya-wordpress.html.
Рабочий образец кода для WordPress:

User-agent: *
Disallow: /cgi-bin # классика...
Disallow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search # поиск
Disallow: /author/ # архив автора
Disallow: *?attachment_id= # страница вложения. Вообще-то на ней редирект...
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */page/ # все виды пагинации
Allow: */uploads # открываем uploads
Allow: /*/*.js # внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css # внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.svg # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.pdf # файлы в плагинах, cache папке и т.д.

Sitemap: http://takethechance.ru/sitemap.xml # как пройти на sitemap.xml

Host: takethechance.ru # для Яндекса и Mail.RU. (межсекционная)

Где находится robots.txt в CMS Вордпресс

Этот файл надо разместить в корне сайта.
После размещения на сайте его надо проверить на наличие ошибок на сайте https://webmaster.yandex.ru/site/ в разделе ИнструментыАнализ robots.txt.

Где искать и как настроить файл robots.txt

Как правильно сделать robots.txt для сайта


Как добавить Sitemap в robots.txt


Чтобы показать поисковому роботу, где расположена карта сайта XML, надо добавить строчку в файл robots.txt:
Sitemap: http://сайт.ru/sitemap.xml # как пройти на sitemap.xml
где сайт.ru – доменное имя сайта.

Стандартный файл robots.txt для WordPress


Файл robots.txt содержит параметры, которые необходимо сообщить поисковым системам Яндекс, Google и другим.
Стандартный файл robots.txt для WordPress можно взять отсюда: https://wp-kama.ru/id_803/pishem-pravilnyiy-robotstxt-dlya-wordpress.html.
Рабочий образец кода для WordPress:

User-agent: *
Disallow: /cgi-bin # классика...
Disallow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search # поиск
Disallow: /author/ # архив автора
Disallow: *?attachment_id= # страница вложения. Вообще-то на ней редирект...
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */page/ # все виды пагинации
Allow: */uploads # открываем uploads
Allow: /*/*.js # внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css # внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.svg # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.pdf # файлы в плагинах, cache папке и т.д.

Sitemap: http://takethechance.ru/sitemap.xml # как пройти на sitemap.xml

Host: takethechance.ru # для Яндекса и Mail.RU. (межсекционная)

Где находится robots.txt в CMS Вордпресс

Этот файл надо разместить в корне сайта.
После размещения на сайте его надо проверить на наличие ошибок на сайте https://webmaster.yandex.ru/site/ в разделе ИнструментыАнализ robots.txt.