Техническая SEO: оптимизация под идеалы robots.txt

1. Что такое robots.txt:
2. Причины оптимизации идеального файла robots.txt:
3. Проверьте robots.txt на наличие ошибок
4. Важные правила robots.txt
5. Теги протокола исключения роботов
6. Microformats
7. Сопоставление с образцом

Абсолютная основа в SEO оптимизации сайта, представляет собой оптимизацию для идеального robots.txt .

Что такое robots.txt:

Протокол исключения роботов (REP) или robots.txt - это текстовый файл, используемый для инструктирования роботов поисковых систем, как сканировать (просматривать веб-страницу) и индексировать (искать) поисковую систему.

Этот текстовый файл всегда должен называться «robots.txt» и всегда должен находиться в корневом каталоге веб-страницы, см. Пример: http://www.webfreundlich.de/robots.txt

Причины оптимизации идеального файла robots.txt:

1. Google первым ищет этот файл, когда вызывает веб-страницу, что подчеркивает его важность
2. Иногда веб-сайт для бота Google неосознанно блокируется полностью или частично
3. Часто веб-сайт сканируется в местах, которые должны быть запрещены Google Bot, и, таким образом, тратится впустую ценный бюджет сканирования
4. Также часто встречаются неправильные записи в файле robots.txt, которые, по желанию, не действуют

Обзор команд для оптимизации robots.txt:

Блокировать все веб-сканеры от всего контента
Пользователь-агент: *

Disallow: /

Блокировать определенный веб-сканер из определенной папки
Пользователь-агент: Googlebot

Disallow: / directory-xyz /

Блокировать определенный веб-сканер от определенной веб-страницы
Пользователь-агент: Googlebot

Disallow: /verzeichnis-xyz/blockierte-seite.html

Иметь специальный веб-сканер для посещения определенной веб-страницы

Пользователь-агент: *

Disallow: /verzeichnis-xyz/blockierte-seite.html

Пользователь-агент: Googlebot

Разрешить: /verzeichnis-xyz/blockierte-seite.html

Параметры карты сайта

Карта сайта: http://www.webfreundlich.de/sitemap_index.xml

Проверьте robots.txt на наличие ошибок

Воспользуйтесь возможностью проверить ваш Robots.txt на наличие ошибок. Google вставляет в Инструменты Google для веб-мастеров отдельный инструмент доступен.

Важные правила robots.txt

• Всегда помните: robots.txt может запрещать только сканирование для поисковой сетки, но не индексирование!
• Если каталог или файл уже есть в индексе Google, вы должны сначала использовать роботов метатегов с параметрами «noindex, follow» для управления индексированием
• Только если каталог или файл больше не найден в индексе Google, вы должны заблокировать его с помощью robots.txt для сканирования
• Важно отметить, что злоумышленники могут полностью игнорировать файл robots.txt.
• Для каждого URL допускается только одна строка «Disallow:»
• Каждый поддомен в корневом домене использует отдельный файл robots.txt
• Google и Bing регулярно принимают два признака исключения из шаблона выражения (* и $).
• Имя файла дела robots.txt. Используйте robots.txt, а не robots.txt.

Подробнее о robots.txt:

Протокол исключения роботов (REP) - это набор веб-стандартов, которые регулируют поведение и индексацию веб-роботов поисковыми системами. REP состоит из следующего:

• Первоначальный REP 1994 года, расширенный в 1997 году, определением гусеницы руководящих принципов для robots.txt. Некоторые поисковые системы поддерживают расширения, такие как шаблоны URI (подстановочные знаки).
• Его расширение 1996 года определяет руководящие принципы индексатора (тэги REP) для использования в метаэлементе роботов, также известный как «метатег роботов». Между тем поисковые системы поддерживают дополнительные тэги REP с тэгом X robots , Веб-мастера могут применять теги REP в заголовке HTTP не-HTML ресурсов, таких как документы PDF или изображения.
• Микроформат rel-nofollow 2005 года определяет, как поисковые системы должны обрабатывать ссылки, где один элемент атрибута REL содержит значение «nofollow».

Теги протокола исключения роботов

Для URI теги REP (noindex, nofollow, unavailable_after) управляют конкретными задачами индексатора, а в некоторых случаях (nosnippet, noarchive, noodp), которые также применяются к запросам во время выполнения запроса. В отличие от рекомендаций для сканеров, каждая поисковая система по-разному интерпретирует теги REP. Например, даже URL-адрес Google стирает только объявления и ссылки ODP на их SERP, когда ресурс помечается как «noindex», но иногда списки рассылки на их SERP запрещают такие внешние ссылки на URL-адреса. Поскольку тэги REP можно вводить в элементы META содержимого X / HTML, а также в заголовки HTTP из любого веб-объекта, все согласны с тем, что содержимое тегов X robots должно иметь конфликтующие политики, обнаруженные в элементах META. согласен.

Microformats

Рекомендации по индексированию устанавливают, как микроформаты будут переопределять параметры страницы для определенных элементов HTML. Например, если страница тэга X-Robots называется «follow» (значение «nofollow» отсутствует), победит политика rel-nofollow определенного A-элемента (ссылки).

Хотя в файле robots.txt отсутствуют политики индексатора, можно установить политики индексатора для групп URI с помощью серверных сценариев уровня сайта, которые действуют на теги X-Robots, которые применяются к запрашиваемым ресурсам. Этот метод требует знания программирования и хорошего понимания веб-сервера и протокола HTTP.

Сопоставление с образцом

Google и Bing используют два регулярных выражения, которые можно использовать для идентификации страниц или подпапок, которые SEO хочет исключить. Эти два символа - звездочка (*) и знак доллара ($).

* - это подстановочный знак, который представляет каждую последовательность символов
$ -, что соответствует концу URL
Пресса и информация

Файл robots.txt является общедоступным, что файл robots.txt является общедоступным файлом. Каждый может видеть, с каких разделов сервера веб-мастер блокирует движки. Это означает, что если у SEO есть личная информация пользователей, которую они не хотят публично искать, они будут использовать безопасный подход, такой как защита паролем, посетители должны воздерживаться от просмотра любых конфиденциальных страниц, которые они не хотят индексировать ,

Похожие

Комментарии