Проверка robots.txt
Бесплатно
по России

Для проверки наличия и корректности robots.txt перейдите на Ваш сайт. Запустите браузер и в адресной строке введите домен адрес вашего сайта. (вставить картинку).

Далее к нашему адресу сайта необходимо дописать /robots.txt. Перед нами откроется страница сайта с директивами, которые рекомендуют индексировать или нет страницы указанные там. (вставить картинку).

В robots.txt должны быть следующие настройки:

  1. Указание рекомендаций для всех поисковиков (User-agent: *).
  2. Указание рекомендаций для поисковых систем, в которых вы продвигаетесь (User-agent: Имя бота поисковой системы).
  3. Адрес файла sitemap.xml – карты сайта для поисковой системы. До него мы доберемся позже.

В нашем случае указаны боты Yandex и Google.

Директива Disallow – запрещает индексирование разделов сайта или отдельных страниц.

Например:

  • страницы с конфиденциальными данными;
  • страницы с результатами поиска по сайту;
  • статистика посещаемости сайта;
  • дубликаты страниц;
  • разнообразные логи;
  • сервисные страницы баз данных.

Примеры:

User-agent: Yandex
Disallow: / # запрещает обход всего сайта

User-agent: Yandex
Disallow: /catalogue # запрещает обход страниц, адрес которых начинается с /catalogue

User-agent: Yandex
Disallow: /page? # запрещает обход страниц, URL которых содержит параметры

Директива Allow — разрешает индексирование разделов или отдельных страниц сайта.

Примеры:

User-agent: Yandex

Allow: /cgi-bin

Disallow: /

# запрещает скачивать все, кроме страниц

# начинающихся с ‘/cgi-bin’

User-agent: Yandex

Allow: /file.xml

# разрешает скачивание файла file.xml

Sitemap — это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию.

В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок — переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:

  • большое количество страниц;
  • отдельные страницы без навигационных ссылок;
  • глубокая вложенность.

Директива Sitemap

Если вы используете описание структуры сайта с помощью файла Sitemap, укажите путь к файлу в качестве параметра директивы Sitemap (если файлов несколько, укажите все).

Пример:

User-agent: Yandex

Allow: /
sitemap: https://example.com/site_structure/my_sitemaps1.xml
sitemap: https://example.com/site_structure/my_sitemaps2.xml

Директива является межсекционной, поэтому будет использоваться роботом вне зависимости от места в файле robots.txt, где она указана.

Робот запомнит путь к файлу, обработает данные и будет использовать результаты при последующем формировании сессий загрузки.