Все статьи

Файл robots.txt - правила создания. Примеры

http://www.google.ru/support/webmasters/bin/answer.py?answer=40360

http://help.yandex.ru/webmaster/?id=996567#996572

Правила создания файла robots.txt

Вы можете создать robots.txt вручную, используя любой текстовый редактор. Это должен быть текстовый файл с кодировкой ASCII, а не файл HTML. При вводе названия файла следует использовать нижний регистр.

Ещё рекомендуем прочитать:

«Яндекс» и Google назвали самые популярные запросы года
Пользовательские страницы "Одноклассников" будут индексироваться поисковиками
Google запустила сервис поиска авиабилетов
Как не надо раскручивать сайт
Компания Google купила факты

Внимание!
Цитирование авторских материалов допускается только при условии прямой гиперссылки на «Introweb.ru»!