Для проверки наличия и корректности robots.txt перейдите на Ваш сайт. Запустите браузер и в адресной строке введите домен адрес вашего сайта. (вставить картинку).
Далее к нашему адресу сайта необходимо дописать /robots.txt. Перед нами откроется страница сайта с директивами, которые рекомендуют индексировать или нет страницы указанные там. (вставить картинку).
В robots.txt должны быть следующие настройки:
- Указание рекомендаций для всех поисковиков (User-agent: *).
- Указание рекомендаций для поисковых систем, в которых вы продвигаетесь (User-agent: Имя бота поисковой системы).
- Адрес файла sitemap.xml – карты сайта для поисковой системы. До него мы доберемся позже.
В нашем случае указаны боты Yandex и Google.
Директива Disallow – запрещает индексирование разделов сайта или отдельных страниц.
Например:
- страницы с конфиденциальными данными;
- страницы с результатами поиска по сайту;
- статистика посещаемости сайта;
- дубликаты страниц;
- разнообразные логи;
- сервисные страницы баз данных.
Примеры:
User-agent: Yandex
Disallow: / # запрещает обход всего сайта
User-agent: Yandex
Disallow: /catalogue # запрещает обход страниц, адрес которых начинается с /catalogue
User-agent: Yandex
Disallow: /page? # запрещает обход страниц, URL которых содержит параметры
Директива Allow — разрешает индексирование разделов или отдельных страниц сайта.
Примеры:
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с ‘/cgi-bin’
User-agent: Yandex
Allow: /file.xml
# разрешает скачивание файла file.xml
Sitemap — это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию.
В каких случаях нужен файл Sitemap
Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок — переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:
- большое количество страниц;
- отдельные страницы без навигационных ссылок;
- глубокая вложенность.
Директива Sitemap
Если вы используете описание структуры сайта с помощью файла Sitemap, укажите путь к файлу в качестве параметра директивы Sitemap (если файлов несколько, укажите все).
Пример:
User-agent: Yandex
Allow: /
sitemap: https://example.com/site_structure/my_sitemaps1.xml
sitemap: https://example.com/site_structure/my_sitemaps2.xml
Директива является межсекционной, поэтому будет использоваться роботом вне зависимости от места в файле robots.txt, где она указана.
Робот запомнит путь к файлу, обработает данные и будет использовать результаты при последующем формировании сессий загрузки.