Создаём файл robots.txt (указка для роботов)
Файл robots.txt
Открываем блокнот (Пуск - программы - стандартные - WordPad). Сохраняем файл с именем robots, расширение txt.
Я надеюсь, что это не такая уж сложная работа. Думаю справится каждый. Вопросы задавайте на Форуме.
Содержимое файла, если Вы ничего не запрещаете к индексированию:
User-agent: *
Allow: /
Запрещение индексации всего сайта:
User-Agent: *
Disallow:/
Host: Ваш сайт без http://
Засветив наш ресурс в Интернет, перейдем к следующему шагу. Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Поэтому для начала в корне ресурса (сайта, там где Ваш файл index) необходимо создать файл robots.txt и дать на него права доступа на чтение для всех. Затем нужно наполнить файл смысловым содержанием, понятным для поисковых роботов. Содержание файла должно быть следующего характера:
Назначение команд и переменных в данном файле несут поисковому роботу следующую информацию: User-agent: * – доступ и индексирование на данном ресурсе разрешается всем поисковым роботам; Disallow – запрещается посещать и индексировать поисковым роботам папки. Это нужно для ограничения доступа к какой-то части ресурса. В данной конфигурации ограничивается доступ к папкам ресурса: cgi-bin, admin, files, images, styles и subs.
Главная || ||
Домашний бизнес:
Часть 1 ||
Часть 2 ||
Часть 3 ||
Часть 4 ||
