Robots.txt примеры запретить некоторым поисковым роботам индексацию

Robots.txt – служебный файл, отдающий инструкции поисковикам относительно того какие страницы Вашего сайта можно индексировать, а какие нельзя. Кроме этого robots.txt служит для настройки глубины индексации, скорости индексации и некоторых других специфических параметров взаимодействия Вашего сайта с поисковыми роботами. Robots.txt должен находится в корневой папке вашего сайта. Это означает, что если Ваш сайт открывается по [...]

Опубликовано 16.10.2013 в 12:50 · Автор Вебдизайнеру, сисадмину, вебмастеру · Ссылка · Комментировать нельзя
Рубрики: Настройки хостинга, Поисковая оптимизация · Теги: , , , , , ,