школа по созданию сайтов


Файл robots.txt

Файл robots.txt – текстовый документ, который предназначен для прочтения роботами поисковых систем и в котором объявляются параметры индексации страниц сайта. В этом файле вебмастер может дать общие указания для всех поисковых систем, а также совершить отдельные предписания для каждой из них по отдельности.

На любом сайте могут быть страницы, индексирование (просмотр, анализ и отметки) которых поисковыми системами не желательно. Так, например, если на Вашем блоге присутствуют две одинаковые (похожие) страницы, то робот поисковика может их «склеить», что будет очень плохо. Или на сайте есть секретные страницы, которые не должны быть в поисковой выдаче по запросам пользователей. А некоторые страницы за их содержание поисковик может просто забанить.

robots

Кроме того, хорошим решением будет подсказать поисковой системе, как правильно индексировать Ваш сайт. Тогда поисковый робот будет благодарен Вам и будет приходить чаще, что очень Важно для видимости страниц Вашего ресурса в Сети. Файл robots.txt поможет в этом.

Создать robots.txt можно с помощью обычного блокнота или другого текстового редактора. Файл robots.txt необходимо поместить на сервере в ту же директорию, где находится файл index.html или index.php, а также sitemap.xml. Необходимо тщательно следить за содержанием файла robots.txt, изменять его, исходя из новых требований, и регулярно дополнять. Если это делать лень и некогда, то просто загрузите на Ваш хостинг пустой файл robots.txt – сайт всё равно будет индексироваться, но лучше этот файл заполнить.

Де-факто в Рунете есть только две поисковые системы. Это Google и Yandex. Файл robots.txt должен быть составлен для каждой из них по-разному. Если Ваш сайт создан на популярном или экзотическом движке, то файл robots.txt должен быть составлен также с этим учётом. Например, необходимо запретить к индексации Ваши базы данных и другие разделы.

О том, как это сделать конкретно для поисковой системы Яндекс можно прочитать подробнее здесь: Использование robots.txt – Яндекс.Помощь: Вебмастер Здесь подробно описаны методы управления поведением робота. Читайте, как создать robots.txt и внедряйте!

Как правильно составить инструкцию для робота Googlebot, стоит прочитать здесь: Часто задаваемые вопросы - Вебмастера – Google Developers (Примечание: вкладка может открыться на английском языке – просто щёлкните правой кнопкой мыши в пустой части экрана и выберите: «Перевести на русский»). После того, как файл robots.txt составлен и загружен, необходимо убедиться в том, что Вы сделали это правильно тут: Блокировка и удаление страниц с помощью файла robots.txt - Cправка - Инструменты для веб-мастеров

Создать robots.txt не так уж сложно, но большинство блоггеров, создающих свои странички на популярных движках, этого делать не умеют или даже не знают об этом. Если статья помогла, поставьте, пожалуйста, лайк или оставьте Ваш комментарий. Файл robots.txt поможет Вам и поисковым системам найти друг друга.



hand
по созданию сайтов


© www.1artsite.com | Все права защищены.
© Создание сайта Сергей Меркоев, 2010-2014 гг.