Как настроить правильный файл robots.txt

Принцип настройки

1. Создать в текстовом редакторе файл robots.txt.
2. Прописать необходимые правила.
3. Перенести документ в корневой каталог сайта.
4. Проверить правильность настройки файла через сервис Яндекс.Вебмастер «Анализ robots.txt».

Как настраивать

1. Создаем записи, которые определяют, для каких поисковых роботов представлены правила:
• «User-agent: *» (для всех поисковых роботов);
• «User-agent: Yandex» (для всех поисковых роботов Яндекса, например YandexImages, YandexNews и др).
2. Определяем страницы, которые необходимо закрыть от индексации. В общем случае, это:
• страницы с GET-параметрами (фильтрация, сортировка, поиск, сравнение товаров);
• пользовательские страницы (личный кабинет, регистрация, авторизация, оформление заказ);
• системные каталоги и файлы;
• дубликаты.

Важно! Страницы пагинации должны быть открыты для индексации! Подробнее об индексации пагинации можете прочитать в нашей заметке «Как настроить правильную индексацию страниц пагинации».

3. C помощью директив Disallow и Allow прописываем правила для корректной индексации сайта для каждого User-agent. Disallow запрещает к индексации указанные после него файлы, а Allow — разрешает. Кроме этого, в данных правилах могут использоваться регулярные выражения с символами «*» и «$». Знак «*» означает любую последовательность символов после него, а знак «$» ее останавливает.
   На примере ниже мы запретили к индексации страницу раздела «Статьи» и все страницы, расположенные во вложенном каталоге «SEO».
   

   

   Стоит отметить, что задав выражение как на скриншоте ниже, мы открываем все вложенные категории и страницы.
   

   

   Еще один важный момент — определение применяемого правила для страницы, если она подходит под несколько директив. Для этого они сортируются по возрастанию длины префикса URL и применяются по порядку.
   Например, у нас есть набор следующих директив:
   

   

   Чтобы понять, будет ли третье правило применяться, надо их отсортировать по возрастанию длины префикса URL:
   

   

   Делаем вывод, что страница «Как настроить robots.txt» разрешена к индексированию, а остальные страницы данного раздела — нет.
4. С помощью инструмента «Проверка оптимизации для мобильных устройств» определяем, какие файлы необходимы поисковым роботам для правильной индексации сайта на мобильных устройствах и открываем их для индексации.
   

   

5. Добавление директивы Host. С марта 2018 года Яндекс отказался от использования данной директивы. Теперь для указания главного зеркала достаточно настройки 301 редиректов. Указывать директиву Host в robots.txt более не нужно.
6. В конце файла прописываем путь с актуальной картой сайта sitemap.xml.
   

   

7. Проверяем правильность заполнения файла robots.txt. Для этого:
   • заходим в инструмент Яндекс.Вебмастер «Анализ robots.txt»;
   • загружаем обновленный файл robots.txt;
   • формируем список страниц для проверки;
   • анализируем результат и вносим правки при необходимости.

   

Пример правильного файла robots.txt

В качестве примера можно ознакомиться с настройкой данного файла по ссылке:

• https://arealidea.ru/robots.txt;

Подробные инструкции по настройке robots.txt Вы сможете найти на страницах «Использование robots.txt» от Яндекса и «О файлах robots.txt» от Google.