robots.txt

После создания сайта и размещения его в интернете у любого владельца сайта возникает естественная потребность в том, чтобы его ресурс посетили поисковые роботы и соответственно просканировал его. Но существует так же такой момент, что поисковому роботу не все надо бы знать, а кое-что ему вообще не нужно, так вот в этом вам поможет файл robots.txt

После создания сайта и размещения его в интернете у любого владельца сайта возникает естественная потребность в том, чтобы его ресурс посетили поисковые роботы и соответственно просканировал его. Но существует так же такой момент, что поисковому роботу не все надо бы знать, а кое-что ему вообще не нужно, так вот в этом вам поможет файл robots.txt

В чем же польза и зачем вообще создавать этот файл?

А польза тут очевидная, конечно в первую очередь это в плане поисковой оптимизации, закрывая ненужные разделы, страницы сайта которые не содержат ни какой полезной и нужной пользователям информации вы получаете более качественную индексацию сайта, которая не захламлена всяким мусором. Соответственно поисковые системы оценят данный факт, и вы получите хоть и небольшой, но все же плюс для своего сайта, а не минус за некачественные материалы. Чаще всего от индексации закрывают разделы админки, какие либо скрипты и т.д. В общем все то, что не несет ни какой пользы ни поисковикам не соответственно посетителям сайта.

Ближе к делу, давайте создадим в блокноте новый файл и назовем его robots и сохраним соответственно в корень сайта. Далее давайте разбираться, что там писать. Начнем по порядку:

User-agent: *

User-agent: Yandex

User-agent: Google

Запись User-agent говорит нам о том, какому поисковому роботу мы прописываем правила, как можно было догадаться это может быть Google, или Yandex или вообще какой либо другой поисковик. Смысл здесь следующий, вы можете прописать правила как отдельной поисковой системе, так и всем поисковикам в целом, что чаще всего и делают, а для обозначения всех поисковых роботов используют символ * и правила автоматически распространяются на все поисковые системы. Идем дальше:

Disallow: /cgi-bin/

Disallow: /admin/

Disallow: /private.html

Disallow: /spam.html

Это у нас и есть собственно запрет индексации, то есть в первом случае мы запрещаем индексацию директории cgi-bin и admin, а во втором случае соответственно мы исключаем отдельные страницы private.html и spam.html. Как вы могли заметить все директории и файлы пишутся с отдельной строчки. Ну и последняя деректива которая нам интересна это:

Host: www.for-net.ru

Эта запись говорит поисковому роботу, какое зеркало сайта является основным, то есть при индексации сайта робот прописывает основной домен сайту, он может быть for-net.ru или www.for-net.ru, это соответственно избавит вас от лишних проблем со склейкой зеркал и т.д. Хотя существует мнение, данную директиву Google не поддерживает, но лишним написать ее точно не будет, так как это не единственный поисковик в интернете.

Теперь давайте разберем самые распространенные ошибки при написании этого файла. Очень часто встречается такая ситуация, что прописывают на запрет индексации сразу несколько каталогов Disallow: /cgi-bin/admin/ эта запись не верна и работать она не будет, каждая директория должна быть описана отдельно.

Следующая распространенная ошибка это прописывание в директиве Host весь урл то есть Host: http://www.site.ru эта запись неправильная нужно писать без http:// тогда все будет правильно и все будет работать.

Неправильное написание имени самого файла он должен называться robots.txt, а не Robots.txt или ROBOTS.TXT.

Так же очень часто встречается проблема в отсутствии слешей при указании директории или ставят один, должно быть только так /dir/ и не как иначе ровно два слэша.

Вот собственно и все данный файл очень прост, но при этом выполняет очень важные функции которые необходимо использовать каждому веб мастеру для улучшения своего проекта.

Видеокурс по OpenCart 2.0

Научись создавать Интернет-магазины всего за сутки!

Получить курс