banner_nika_hozyaike      banner_pos_bekker     banner_specpredl_roznica_2

Как оптимизировать файл WordPress Robots.txt для SEO

Вы оптимизировали файл WordPress Robots.txt для SEO? Если нет, вы игнорируете важный аспект SEO. Файл Robots.txt играет важную роль в SEO вашего сайта. Вам повезло, что WordPress автоматически создает для вас файл Robots.txt. Наличие этого файла - полдела. Вы должны убедиться, что файл Robots.txt оптимизирован, чтобы получить все преимущества.

Файл Robots.txt сообщает поисковым роботам, какие страницы сканировать, а какие избегать. В этом посте я покажу вам, как редактировать и оптимизировать файл Robots.txt в WordPress.

txt в WordPress

Как оптимизировать файл WordPress Robots.txt для SEO?

Что такое файл Robots.txt?

Давайте начнем с основного. Файл Robots.txt представляет собой текстовый файл, который инструктирует роботов поисковых систем, как сканировать и индексировать сайт. Всякий раз, когда на ваш сайт приходят роботы поисковых систем, он читает файл robots.txt и следует инструкциям. Используя этот файл, вы можете указать ботам, какую часть вашего сайта сканировать, а какую - избегать. Однако отсутствие файла robots.txt не остановит роботов поисковых систем для сканирования и индексации вашего сайта.

Редактирование и понимание Robots.txt в WordPress

Я уже говорил, что на каждом сайте WordPress есть корневой файл robots.txt по умолчанию в корневом каталоге. Вы можете проверить свой robots.txt, перейдя по адресу http://yourdomain.com/robots.txt. Например, вы можете проверить наш файл robots.txt здесь: https://roadtoblogging.com/robots.txt

Если у вас нет файла robots.txt, вам придется его создать. Это очень легко сделать. Просто создайте текстовый файл на своем компьютере, сохраните его как robots.txt и загрузите в корневой каталог. Вы можете загрузить его через FTP менеджер или же Файловый менеджер cPanel ,

Теперь давайте посмотрим, как редактировать ваш файл robots.txt.

Вы можете редактировать ваш файл robots.txt с помощью FTP-менеджера или cPanel File Manager. Но это отнимает много времени и немного сложно.

Лучший способ редактировать файл Robots.txt - использовать плагин. Существует несколько плагинов WordPress robots.txt. я предпочитаю Yoast SEO , Это лучший SEO плагин для WordPress. Я уже поделился как настроить Yoast SEO ,

Yoast SEO позволяет вам изменить файл robots.txt из вашей админ-панели WordPress. Однако, если вы не хотите использовать плагин Yoast, вы можете использовать другие плагины, такие как WP Robots Txt ,

Как только вы установлены и активировал плагин Yoast SEO, зайдите в админ панель WordPress> SEO> Инструменты.

Как оптимизировать файл WordPress Robots.txt для SEO

Затем нажмите «Редактор файлов».

yOast Плагин SEO

Затем вам нужно нажать «Создать файл robots.txt».

txt»

Редактирование файла robots.txt

Тогда вы получите редактор файлов Robots.txt. Вы можете настроить свой файл robots.txt отсюда.

txt отсюда

файлы

Прежде чем редактировать файл, вам необходимо понять команды файла. В основном три команды.

  • User-agent - Определяет имя поисковых роботов, таких как Googlebot или Bingbot. Вы можете использовать звездочку (*) для обозначения всех поисковых роботов.
  • Disallow - запрещает поисковым системам сканировать и индексировать некоторые части вашего сайта.
  • Разрешить - поручает поисковым системам сканировать и индексировать, какие части вы хотите проиндексировать.

Вот пример файла Robots.txt.

Пользовательский агент: * Disallow: / wp-admin / Разрешить: /

Этот файл robots.txt указывает всем роботам поисковых систем сканировать сайт. Во второй строке указывается, что поисковые машины не сканируют часть / wp-admin /. В третьей строке он инструктирует роботов поисковых систем сканировать и индексировать весь сайт.

Настройка и оптимизация файла Robots.txt для SEO

Простая неправильная настройка в файле Robots.txt может полностью деиндексировать ваш сайт из поисковых систем. Например, если вы используете команду «Disallow: /» в файле Robots.txt, ваш сайт будет деиндексирован поисковыми системами. Таким образом, вы должны быть осторожны при настройке.

Еще одна важная вещь - это оптимизация файла Robots.txt для SEO. Прежде чем перейти к лучшим практикам SEO Robots.txt, я хотел бы предупредить вас о некоторых плохих практиках.

  • Не используйте файл Robots.txt, чтобы скрыть некачественное содержимое. Лучше всего использовать метатег noindex и nofollow. Вы можете сделать это с помощью плагина Yoast SEO.
  • Не используйте файл Robots.txt, чтобы поисковые системы не индексировали ваши категории, теги, архивы, страницы авторов и т. Д. Вы можете добавить мета-теги nofollow и noindex на эти страницы с помощью плагина Yoast SEO.
  • Не используйте файл Robots.txt для обработки дублированного контента. Есть и другие способы.

Теперь посмотрим, как можно сделать файл Robots.txt оптимизированным для SEO.

  1. Во-первых, вам нужно определить, какие части вашего сайта вы не хотите, чтобы поисковые роботы сканировали. Я предпочитаю запретить / wp-admin /, / wp-content / plugins /, /readme.html, / trackback /.
  2. Добавление производных «Allow: /» в файл Robots.txt не так важно, так как боты все равно будут сканировать ваш сайт. Но вы можете использовать его для конкретного бота.
  3. Добавление файлов Sitemap в файл Robots.txt также является хорошей практикой. Читать: Как создать карту сайта

Вот пример идеального файла Robots.txt для WordPress.

User-agent: * Disallow: / wp-admin / Disallow: / wp-content / plugins / Disallow: /readme.html Disallow: / trackback / Disallow: / go / Разрешить: /wp-admin/admin-ajax.php Разрешить : / wp-content / uploads / Карта сайта: https://roadtoblogging.com/post-sitemap.xml Карта сайта: https://roadtoblogging.com/page-sitemap.xml

Вы можете проверить файл RTB Robots.txt здесь: https://roadtoblogging.com/robots.txt

Тестирование файла Robots.txt в Инструментах Google для веб-мастеров

После обновления файла Robots.txt необходимо протестировать файл Robots.txt, чтобы проверить, не повлияло ли обновление на какой-либо контент.

Ты можешь использовать Google Search Console чтобы проверить, есть ли какие-либо «Ошибка» или «Предупреждение» для вашего файла Robots.txt. Просто войдите в консоль поиска Google и выберите сайт. Затем перейдите в Crawl> robots.txt Tester и нажмите кнопку «Отправить».

Google Search Console

Коробка будет выскакивать. Просто нажмите на кнопку «Отправить».

Просто нажмите на кнопку «Отправить»

Файл обновления Google

Затем перезагрузите страницу и проверьте, обновлен ли файл. Обновление файла Robots.txt может занять некоторое время.

Если он еще не обновился, вы можете ввести свой код файла Robots.txt в поле, чтобы проверить, есть ли какие-либо ошибки или предупреждения. Там будут отображаться ошибки и предупреждения.

Код файла Robots.txt

Если вы заметили какие-либо ошибки или предупреждения в файле robots.txt, вы должны исправить это, отредактировав файл robots.txt.

Последние мысли

Я надеюсь, что этот пост помог вам оптимизировать ваш файл WordPress robots.txt. Если у вас есть путаница в отношении, не стесняйтесь спрашивать нас через комментарии.

Однако, если вы хотите сделать свой блог на WordPress SEO дружественным, вы можете прочитать наш пост на Как настроить плагин для WordPress Yoast SEO ,

Если вы считаете этот пост полезным, пожалуйста, помогите мне, поделившись этим постом в Facebook, Twitter или Google+.

Txt для SEO?
Txt для SEO?
Txt?

Наш магазин

Сезонные товары

Icon    Доставка в течение дня
Icon    Работаем с 09:00 до 18:00 кроме выходных
Icon    Возврат в течении 14 дней
Icon    Гарантия на все товары