png
к ленте
#86

Как закрыть ссылки и текст от поисковых систем

Ноябрь'18

Встречаются такие ситуации, когда требуется закрыть контент от индексации. Это может быть:

  • неуникальный контент;
  • шаблонный текст, встречающийся на всех страницах сайта;
  • ссылки на сторонние ресурсы.

Ссылки
(внешние и внутренние)

Закрывать от поисковых систем внешние ссылки необходимо, если вы не хотите, чтобы страница, имеющая ссылку, теряла свой вес.

Это может происходить следующим образом:

  • Удалением внешних ссылок. Рекомендуется убирать внешние ссылки на сторонние ресурсы.
  • Если удалить ссылку нет возможности, то необходимо скрыть ссылку от индексации посредством скрипта так, чтобы в исходном коде страницы не было <a href="" ...></a>, а блок выводился в виде: <div class="lin"></div>. Далее при формировании страницы скриптом выводилось содержимое данного блока в виде ссылок и прочего.
    Сам скрипт требуется закрыть от индексации в файле robots.txt.
  • Добавлением атрибута rel="nofollow". Необходимо прописать атрибут rel="nofollow" для внешней ссылки (<a href="" rel="nofollow" target="_blank">текст ссылки</a>).

Помимо внешних ссылок, аналогичное рекомендуют проводить с внутренними ссылками вида добавить в корзину, вход, авторизация, фильтр, сбросить фильтр и т.д. (для всех элементов, которые сверстаны ссылками <a href>, но при этом не ведут на реальные страницы).

Текст

Если у вас на сайте используется большое количество неуникального или дублирующегося контента, то его необходимо скрыть от индексации.

Это можно сделать двумя способами:

  • выделить кусок необходимого текста с помощью тега <!—noindex—>...<!—/noindex—>
  • прописать мета-тег <meta name="robots" content="noindex"/> странице.

Важно

Если Вы прописали мета-тег <meta name="robots" content="noindex"/>, то ссылки на странице все будут доступны для поисковых систем и роботы будут переходить по ним. Поэтому необходимо добавить атрибут, nofollow, если необходимо полностью запретить индексацию страницы. Выглядеть это может следующим образом: <meta name="robots" content="noindex, nofollow"/> или <meta name="robots" content="none"/>.