Главная > Seo оптимизация > Руководство по работе с Robots.txt для SEO

Руководство по работе с Robots.txt для SEO

22 сентября 2010

Если Вы действительно серьезно относитесь к SEO, то Вы должны понимать и знать, как грамотно использовать файл robots.txt в SEO. Как показывает практика, у большинства сайтов вообще отсутствует файл robots.txt. Как и зачем использовать служебный файл robots.txt в SEO целях и будет темой сегодняшней статьи.

Что такое robots.txt?

Служебный файл robots.txt – это список ограничений для поисковых роботов (ботов), которые постоянно «бегают» по сайтам и сканируют информацию на них. Именно эти роботы и являются постоянными читателями файлов robots.txt, которые анализируют команды в нем, прежде чем начинать сканировать страницы сайта.

Файл robots.txt – является простой текстовый файл, которые находится в корневом каталоге Вашего сайта. К примеру, файл robots.txt для сайта «SEO дело»:
http://seodelo.com/robots.txt

Основные причины использования служебного файла robots.txt

Стоит выделить основные 3 причины по использованию файла robots.txt на сайте:

1. Дублированный контент
Дублированный контент на сайте – это минус в Вашу сторону. Зачем поисковую систему лишний раз заставлять индексировать те страницы сайта, которые не несут важности. Как правило, дублированный контент представлен на сайте под разными URL адресами. К примеру, на блогах — это метки(теги), категории, архивы и т.д. Если у Вас достаточно молодой проект с небольшим количеством качественных обратных ссылок, то именно повторяющийся контент может стать причиной наказания поисковыми системами, что крайне плохо с точки зрения SEO. Именно robots.txt сможет решить Вам какие страницы включать в индекс, а какие – нет. Аналогичное решение и с помощью мета тега canonical.

2. Скрыть информация, которую Вы не желаете «показывать» поисковым системам.
В ситуациях, когда у Вас есть определенное содержание на сайте, которые Вы не желаете обнародовать поисковикам, то robots.txt сможет легко решить эту проблему.

3. Контроль пропускной способности
Ограничение пропускной способности Вашего сайта (к примеру, на хостинг пакеты) просто вынуждает Вас воспользоваться файлом robots.txt.

Как работает этот файл в действии, схематически можно отобразить так:

Robots.txt и SEO

Как создать файл robots.txt?

Для создания файла robots.txt необходимо: текстовый файл и клавиатуру. После заполнения файла, его необходимо сохранить под названием robots.
Рассмотрим некоторые команды роботс.тхт.

Пустой файл robots.txt означает, что Вы желаете, чтобы все страницы Вашего сайта индексировались поисковыми системами.

Если нам необходимо запретить для поискового робота Google папку admin, то содержание файла robots.txt будет состоять из следующих записей:

User-Agent: Googlebot
Disallow: /admin/

Если Вы желаете запретить индексировать Гугл бота отдельную страницу на сайте, к примеру, seo.html, то это роботс.тхт будет выглядеть так:

User-Agent: Googlebot
Disallow: seo.html

Если Вы хотите обратиться ко всем поисковым ботам, то нужно слово Googlebot заменить на *. Пример:

User-Agent: *
Disallow: /seo/
Disallow: /tags/

Для SEO лучше всего использовать обращение ко всем ботам, в виде «User-Agent: *».

Типичные ошибки при работе с Robots.txt

  1. Файл роботс.тхт должен быть только формата .txt и находится в корневом каталоге.
  2. Не стоит прописывать сначала строки, которые хотим запретить, а потом пользовательского агента (поискового бота). Строка пользовательского агента всегда идет первой!
  3. Для игнорирования каталога, не стоит создавать список файлов каталога. Достаточно просто прописать имя каталога.
  4. Прописывая названия файлов и каталогов не забываем про чувствительность к регистру. Пример, SEO.html и seo.html могут восприниматься на сервере по разному.
  5. Обязательно проверяйте созданные файлы на валидность с помощью сервисов в Google Webmaster Tools или Яндекс для Вебмастеров

Как видим, в SEO все должно быть продумано до мелочей, что позволит существенно сэкономить на ссылочном продвижении. Закажите услуги интернет маркетинга и SEO продвижения для Вашего сайта прямо сейчас!

Видео по теме robots.txt от сотрудника компании Google Мэтта Каттса:

Комментирование отключено.