Meta robots настройка индексации страницы noindex nofollow index follow

Мы уже писали о настройке индексации сайта с помощью файла robots.txt.
С помощью robots.txt Вы можете определять какие каталоги, поддиректории Вашего сайта, будут скрыты от любопытных глаз поисковых ботов.

Но что делать, если удалить из поисковой выдачи определенную страницу. Для этой цели используется мета-тег <meta>, а
конкретно мета-тег meta name=»robots». Вот каким образом можно сообщить поисковым роботам о том, что Вы не хотите добавлять конкретную страницу в выдачу:

<meta name="robots" content="noindex, nofollow" />

Тег <meta>, естественно, должен находится в заголовке странице, между тегами <head> </head>. Другой вариант полного запрещения индексации страницы:

<meta name="robots" content="none" />

Рассмотрим и остальные случае, когда мета robots наоборот помогает индексировать страницу:

<meta name="robots" content="index, follow" />

Если Вы хотите чтобы поисковики проиндексировали страницу, но при-этом не посещали сайты на которые Ваша страница ссылается, сделать это можно следующим образом:

<meta name="robots" content="index, nofollow" />

В случае работы с поисковиком Яндекс, можно указать конкретные действия для поискового бота Яндекса. Делается это следующим образом:

<meta name="yandex" content="all"/>

приведенный выше пример говорит Яндексу индексировать страницу и ходить по ссылкам, если вместо all поставить none, бот не будет индексировать и посещать ссылки.

Ещё одна полезная опция – запрет поисковикам кэшировать страницу. Когда Вы, или другие пользователи, ищете информацию с Вашего сайта в поисковике, обычно рядом с ссылкой на сайт, стоит ссылка на сохранную поисковой машиной копию страницы. Попробуйте отключить этот кэш следующим образом:

<meta name="robots" content="noarchive" />

В дополнении рассмотрим мета-тег revisit-after. Этот тег указывает как часто поисковый бот должен возвращаться на ту или иную страницу для переиндексации содержимого. Интервал обычно указывается в днях (day – для одного дня и days для нескольких дней)

<meta name="revisit-after" content="3 days" />

 

Опубликовано 24.02.2014 в 02:26 · Автор Вебдизайнеру, сисадмину, вебмастеру · Ссылка
Рубрики: HTML, Поисковая оптимизация · Теги: , , , , , , , , , ,