Как закрыть ссылки и текст от поисковых систем
Встречаются такие ситуации, когда требуется закрыть контент от индексации. Это может быть:
- неуникальный контент;
- шаблонный текст, встречающийся на всех страницах сайта;
- ссылки на сторонние ресурсы.
Ссылки
(внешние и внутренние)
Закрывать от поисковых систем внешние ссылки необходимо, если вы не хотите, чтобы страница, имеющая ссылку, теряла свой вес.
Это может происходить следующим образом:
- Удалением внешних ссылок. Рекомендуется убирать внешние ссылки на сторонние ресурсы.
- Если удалить ссылку нет возможности, то необходимо скрыть ссылку от индексации посредством скрипта так, чтобы в исходном коде страницы не было <a href="" ...></a>, а блок выводился в виде: <div class="lin"></div>. Далее при формировании страницы скриптом выводилось содержимое данного блока в виде ссылок и прочего.
Сам скрипт требуется закрыть от индексации в файле robots.txt. - Добавлением атрибута rel="nofollow". Необходимо прописать атрибут rel="nofollow" для внешней ссылки (<a href="" rel="nofollow" target="_blank">текст ссылки</a>).
Помимо внешних ссылок, аналогичное рекомендуют проводить с внутренними ссылками вида добавить в корзину, вход, авторизация, фильтр, сбросить фильтр и т.д. (для всех элементов, которые сверстаны ссылками <a href>, но при этом не ведут на реальные страницы).
Текст
Если у вас на сайте используется большое количество неуникального или дублирующегося контента, то его необходимо скрыть от индексации.
Это можно сделать двумя способами:
- выделить кусок необходимого текста с помощью тега <!—noindex—>...<!—/noindex—>
- прописать мета-тег <meta name="robots" content="noindex"/> странице.
Важно
Если Вы прописали мета-тег <meta name="robots" content="noindex"/>, то ссылки на странице все будут доступны для поисковых систем и роботы будут переходить по ним. Поэтому необходимо добавить атрибут, nofollow, если необходимо полностью запретить индексацию страницы. Выглядеть это может следующим образом: <meta name="robots" content="noindex, nofollow"/> или <meta name="robots" content="none"/>.