Robots.txt примеры запретить некоторым поисковым роботам индексацию

Robots.txt – служебный файл, отдающий инструкции поисковикам относительно того какие страницы Вашего сайта можно индексировать, а какие нельзя.
Кроме этого robots.txt служит для настройки глубины индексации, скорости индексации и некоторых других специфических параметров взаимодействия Вашего сайта с поисковыми роботами.

Robots.txt должен находится в корневой папке вашего сайта. Это означает, что если Ваш сайт открывается по адресу http://weblomaster.ru , robots должен открываться по адресу http://weblomaster.ru/robots.txt

Самая распространённая задача, которая ставится перед файлом robots.txt – запретить конкретному боту или всем ботам индексировать определенные папки, директории сайта (например папку /admin/ или /test/). Вот как это делается для всех ботов:

User-agent: *
Disallow: /admin/
Disallow: /test/

Вот как это делается только для Яндекс бота:User-agent: Yandex
Disallow: /admin/
Disallow: /test/

Опубликовано 16.10.2013 в 12:50 · Автор Вебдизайнеру, сисадмину, вебмастеру · Ссылка
Рубрики: Настройки хостинга, Поисковая оптимизация · Теги: , , , , , ,