URL-адреса, сканирование и PageRank; Основы SEO

1. Что такое URL?
2. URL-адреса и контентная иерархия
3. URL-адреса и поисковые системы
4. URL-адреса и сканирование
5. URL и индексация
6. Разумный Серфер
7. Это все о URL

Те, кто знают меня, не будут удивлены, узнав, что у меня много любимых мозолей; Я легко раздражен. Одна из этих любимых мозолей - это URL. В частности, о неуважении того, что URL-адреса предоставляются как разработчиками, так и маркетологами.

URL-адреса не являются второстепенным аспектом веб-сайтов, о котором вам не нужно беспокоиться. Скорее наоборот: URL-адреса составляют основу Интернета.

Правильная оценка URL-адресов и их роли в работе сети предотвращает множество потенциальных проблем с юзабилити и SEO. Понимая, что такое URL-адреса и как веб-технологии зависят от URL-адресов, вы гораздо чаще создаете и оптимизируете веб-сайты таким образом, чтобы обеспечить успех в Интернете.

Итак, давайте немного покопаемся в URL и объясним, почему эти строки в адресной строке вашего браузера так важны, и что вы можете сделать, чтобы использовать их мощность для максимального эффекта.

Что такое URL?

URL расшифровывается как U- унифицированный указатель ресурсов. По сути, URL - это местоположение данного ресурса в Интернете. Обычно это относится к веб-странице, но может относиться ко всему опубликованному в Интернете: документам, изображениям, файлам JavaScript и т. Д.

Иногда вы увидите, что люди вместо этого ссылаются на URI: универсальные средства для чистки ресурсов. Пока есть техническая разница между ними, для целей этой статьи мы будем упрощать и ссылаться только на URL. Мы также ограничимся URL-адресами в Интернете, что означает, что мы ориентируемся исключительно на веб-адреса, начинающиеся с http (s).

Например, URL этой страницы:

https://www.stateofdigital.com/urls-crawling-pagerank-fundamentals/

Он начинается с протокола (в данном случае http), за которым следует поддомен (www), имя домена (stateofdigital) и домен верхнего уровня (.com). Остальная часть URL-адреса относится к расположению веб-страницы в домене.

Для многих веб-разработчиков и маркетологов этот последний бит URL является второстепенным. Им действительно все равно, что там написано, пока сайт обслуживает нужное содержание. Некоторые разработчики даже считают, что веб-сайт вообще не нуждается в URL-адресах, и вместо этого он может обслуживать все свое содержимое с одного URL-адреса.

И это неправильно. Зачем? Потому что именно URL делают работу в Интернете. Если мы забываем об этом, мы в конечном итоге совершаем огромные ошибки в том, как мы проектируем и строим сайты, и как мы можем заставить эти сайты привлекать трафик.

URL-адреса и контентная иерархия

Давайте начнем с того, как URL должны отражать контент и структуру сайта. Я писал до этого URL должны быть оптимизированы для удобства использования так что я не буду повторяться здесь слишком много.

Таким образом, URL должны быть удобочитаемыми. Более того, они должны быть иерархическими и отражать место страницы в общей структуре сайта. Когда вы смотрите на URL-адрес, как это, вы видите, где именно он вписывается в общую структуру сайта:

https://www.website.com/safety-boots/caterpillar/size12/

Эта страница является дочерней по отношению к странице Caterpillar, которая сама является дочерней по отношению к странице защитных сапог. В идеале вы должны иметь возможность убрать любую дочернюю страницу и оказаться в родительской части этой страницы, вот так:

• На https://www.website.com/safety-boots/caterpillar/ должна появиться страница «Сапоги безопасности Caterpillar».
• https://www.website.com/safety-boots/ должен предоставить вам общую страницу сапог безопасности.

Слишком часто URL-адреса и иерархия содержимого отделены друг от друга, и в URL-адресе страницы не видно явных отношений между родителями и детьми. Это ошибка.

Хорошая иерархия контента, которая отражается в URL-адресе страницы, не только обеспечивает удобство использования, она также посылает сильные семантические сигналы в поисковые системы. Если у вас есть URL без какой-либо иерархии - или с неверной иерархией - это может запутать поисковые системы и посылать неправильные сигналы релевантности (или, что еще хуже, вообще не отправлять никаких сигналов).

Когда вы создаете контент веб-сайта в четкой, удобной для навигации структуре, ваши URL-адреса должны соответствовать этому и отражать эту структуру. Создавая прочные отношения родитель-потомок через URL-адреса, вы посылаете мощные сигналы поисковым системам, которые могут помочь вашему контенту занять более высокие позиции в результатах обычного поиска.

URL-адреса и поисковые системы

Для меня более интересным аспектом URL является то, как поисковые системы взаимодействуют с ними, помимо сигналов релевантности. Сканирование и индексация контента в Интернете такими поисковыми системами, как Google, осуществляется через URL-адреса.

Все, что делают веб-поисковые системы, построено на этом фундаментальном аспекте сети: URL-адреса, ссылающиеся на другие URL-адреса.

И чем лучше вы понимаете этот аспект поисковых систем, тем эффективнее вы можете быть в SEO. Давайте начнем с самых основ технологии поисковых систем: ползание.

URL-адреса и сканирование

Сканер поисковых систем, такой как Googlebot, ориентирован исключительно на URL-адреса. Практически все, что он делает, это извлекает URL-адреса и находит новые URL-адреса для сканирования. Весь процесс сканирования веб-поисковой системы, такой как Googlebot, основан на URL.

На скриншотах, где Google объясняет процессы, составляющие его поисковую систему, мы видим, что URL-адреса получают свои собственные поля. Это не случайно - сеть состоит из URL, поэтому почти все, что делает робот Googlebot, сосредоточено вокруг URL.

Различные процессы, которые входят в сканер Google, направлены на оптимизацию эффективности, с которой они сканируют Интернет. Существует система планировщика, которая устанавливает приоритеты для (повторного) сканирования URL-адресов, и система дедупликации, которая запрещает роботу Googlebot сканировать URL-адреса, которые, по его мнению, имеют то же содержимое, что и уже просканированные URL-адреса.

Планирование URL

Одно распространенное заблуждение о роботе Google заключается в том, что он будет пытаться сканировать весь ваш сайт по одной странице за раз, пока это не будет сделано, а затем он начнется снова. Это очень неточная картина того, как Google сканирует ваш сайт.

Вместо этого робот Googlebot сосредоточит свое сканирование на вашем сайте на URL, которые он считает наиболее важными. Важные URL-адреса будут сканироваться и сканироваться повторно чаще, а неважные URL-адреса будут сканироваться очень редко.

Важность URL зависит от много разных факторов , Одним из самых важных факторов является PageRank URL-адреса. Чем выше PageRank, тем чаще робот Googlebot сканирует URL.

Другим фактором, влияющим на сканирование, является скорость загрузки. Если веб-сайт может обслуживать множество URL-адресов за короткий промежуток времени, робот Googlebot может сканировать сайт намного быстрее. И наоборот, если веб-сайт загружает каждую страницу медленно, робот Googlebot должен сканировать сайт гораздо медленнее.

Это очень четко продемонстрировано на этом скриншоте из Google Search Console. Вы можете точно увидеть, когда этот конкретный веб-сайт был обновлен до гораздо более быстрой платформы, которая может обслуживать намного больше страниц в секунду:

Когда запустился обновленный сайт, скорость сканирования возросла с примерно 50 000 URL-адресов в день до в среднем более 200 000 в день. Это совпало с увеличением скорости загрузки с 2 секунд на страницу до полсекунды на страницу.

С технической точки зрения, это одна из главных причин, по которой скорость загрузки так важна. Улучшение скорости сканирования вашего сайта чрезвычайно ценно для SEO, особенно на крупных сайтах с большим количеством URL-адресов, которые часто меняют свое содержание.

Дедупликация URL

В рамках процесса сканирования робот Googlebot будет стараться избегать сканирования URL-адресов, которые, по его мнению, не приносят пользы. Он будет стараться не сканировать URL-адреса, которые, по его мнению, имеют дублирующийся контент, и в которых есть системы для де-дупликации URL-адресов перед сканированием.

Так что Google не всегда должен смотреть на контент страницы, чтобы распознать дублированный контент. В недавнем чате для веб-мастеров Гуглер Джон Мюллер описывает это следующим образом :

«Иногда случается так, что мы заранее распознаем, что что-то, возможно, является дубликатом, даже до того, как сканировать его. Таким образом, это происходит, когда мы видим, что, например, разница заключается в URL-адресе где-то в том месте, где мы обычно замечаем, что содержимое, отображаемое в этой части URL-адреса, не имеет такого отношения к содержимому, отображаемому на странице.

Таким образом, это может быть что-то вроде того, что у вас есть языковой параметр, который вы можете установить для любого вида термина, и мы могли бы пройтись и попробовать что-то вроде «language = English», «language = French», «language = German» … Если мы обнаружим, что все эти страницы показывают содержание на английском языке, за исключением, возможно, «language = Spanish», который выбрал испанскую версию, то мы можем предположить, что этот языковой параметр на самом деле не имеет отношения к этой странице, и тогда мы можем пропустить эту одну страницу это на самом деле имеет уникальный контент ».

В двух словах, робот Googlebot идентифицирует определенные шаблоны URL, которые указывают на дублирующееся содержимое, и старается не сканировать эти URL.

Полезно знать об этом аспекте сканера, поэтому вы можете предотвратить случайную дедупликацию URL-адресов роботом Googlebot при наличии действительно различного контента.

HTML Parser

И последнее, что я хочу обсудить с URL-адресами и сканированием, - это процесс синтаксического анализа веб-сканера. Как мы знаем, когда поисковая система сканирует страницу, она мало влияет на содержание страницы. Когда дело доходит до понимания содержимого страницы, тяжёлый подъем выполняется процессом индексации.

Что делает сканер, так это извлекает URL со страницы, чтобы добавить в свою очередь сканирования. По сути, сканер имеет анализатор HTML, который находит и извлекает URL-адреса, главным образом в тегах привязки (т. Е. В ссылках).

Вот почему веб-сайты, которые сильно зависят от рендеринга на стороне клиента, так проблематичны для робота Googlebot и других сканеров.

Если в предварительно отрендеренном исходном коде страницы нет URL-адресов, то сканер должен дождаться, пока индексатор отобразит страницу и найдет URL-адреса. Это делает процесс сканирования клиентских сайтов JavaScript невероятно обременительным и неэффективным. Я написал больше об этом в моя статья о JavaScript и SEO ,

Пример веб-страницы, основанной на клиентском JavaScript.Необработанный исходный код HTML не содержит ссылок для извлечения искателем.

URL и индексация

Там уже много написано о том, как поисковые системы индексируют страницы, поэтому я не буду вдаваться в подробности здесь. Тем не менее, есть некоторые недооцененные аспекты системы индексации Google, которые я хочу выделить, в частности, PageRanker . Этот модуль в системе индексации Google рассчитывает PageRank (PR) каждого URL-адреса на основе качества и количества входящих ссылок.

В то время как Google прекратил публично показывать PageRank страницы и больше не является ключевым фактором ранжирования, как раньше, PageRank все еще играет очень большую роль в общих процессах поисковой системы Google.

Для начала, PageRank страницы имеет большое влияние на ее предполагаемую важность. Как я уже говорил выше, более важные URL сканируются чаще, поэтому хороший способ заставить Google сканировать URL чаще - улучшить его PageRank. Хорошие внутренние ссылки и / или получение ссылок с внешних сайтов на URL-адрес - отличный способ повысить скорость повторного сканирования.

PageRank не рассчитывается в режиме реального времени. Это система, которая периодически запускается, просматривая весь граф ссылок в Интернете и каждый URL-адрес, размещенный в этом графе.

PageRank и JavaScript

Опять же, именно здесь клиентские сайты JavaScript имеют ключевое значение. Из-за трудностей, с которыми сталкивается сканер при поиске всех ссылок на веб-сайте JavaScript (см. Выше), PageRanker очень часто работает с неполными графами ссылок, когда речь идет о веб-сайтах JavaScript.

Особенно на больших сайтах JavaScript, это может быть серьезной проблемой. Я видел примеры сайтов на основе JS, где робот Googlebot сосредотачивает все свои усилия по сканированию на узком наборе страниц и игнорирует самые глубокие страницы.

Я полагаю, что это потому, что весь PageRank сайта сконцентрирован на тех URL, которые робот Google уже знает, что они существуют, и отображает их Сервис веб-рендеринга ,

Из-за задержки между сканированием и индексацией на веб-сайтах JavaScript к тому времени, когда сканер наконец-то приступает к сканированию URL-адресов более глубоких страниц, обнаруженных индексатором, планировщик сканирования хочет вернуться к сканированию уже известных страниц, поскольку его PR уже был рассчитан PageRanker, поэтому они имеют более высокую важность URL, чем недавно обнаруженные URL.

Конечным результатом является очень низкая скорость индексации на сайте. Робот Google делает все возможное, но его собственные системы планирования URL-адресов не позволяют ему тратить усилия на сканирование более глубоких URL-адресов, которые, по его мнению, не имеют никакого значения.

Только когда PageRank пересчитывается с недавно обнаруженными ссылками, принятыми в учетную запись, есть вероятность, что эти более глубокие URL-адреса, наконец, будут рассматриваться как имеющие определенную долю PR, переданную с URL-адресов более высокого уровня на сайте, и Google потратит усилия на сканирование и индексация тех.

Для меня это лежит в основе проблем SEO, с которыми сталкиваются многие клиентские JavaScript-сайты. Необходимость для Google рендеринга каждой страницы означает, что они сканируются очень неэффективно, и PageRank не легко перемещается по сайту. Это видно по целому ряду симптомов, таких как низкий уровень индексации и плохое ранжирование в результатах поиска.

PageRank и XML Sitemaps

XML-карты сайта - забавная вещь. Они существуют за пределами графа ссылок в Интернете и являются искусственным способом определения приоритетов URL для сканирования. Я подозреваю, что способ обработки XML-карт сайта фактически соответствует тому, как робот Google обрабатывает все, что сканирует в Интернете.

Мы знаем, что включение URL-адреса в XML-карту сайта не является гарантией того, что URL будет сканироваться и индексироваться. Тем не менее, включение URL-адреса в карту сайта означает, что он считается более важным, что повышает вероятность его сканирования и индексации. Опять же, это то слово: важно.

Моя теория (и это чисто теория) заключается в том, что включение URL-адреса в XML-карту сайта обрабатывается почти так же, как ссылка на этот URL с «нейтрального» сайта с низким PageRank. Отправляя URL-адреса через XML-карту сайта, Google придаст этим URL-адресам несколько более высокий PageRank и, таким образом, определит их приоритетность для сканирования и индексации. Это сигнал с низким уровнем громкости (поэтому часто не все URL-адреса в файлах сайтов индексируются), но это помогает Google расставить приоритеты для правильных URL-адресов на сайте.

Сказав это, ничто не сравнится с обнаружением URL-адресов при обычном веб-сканировании. Если URL-адрес не может быть найден при сканировании в Интернете, включение его в карту сайта XML не поможет. Количество PageRank, перенаправляемых на этот URL из файлов Sitemap XML, ничтожно мало по сравнению с PageRank, пересекающим ссылки в Интернете. Если вы действительно хотите, чтобы URL сканировался и индексировался, вам нужны ссылки, указывающие на него с других URL - либо с вашего сайта, либо с внешних сайтов.

Разумный Серфер

Есть еще один аспект PageRank и то, как он распространяет URL-адреса в Интернете, что, я считаю, недооценивается. Многие из нас слышали о Разумный патент Surfer , который существует примерно с 2004 года. В этом патенте Google объясняет, как придать больший вес ссылкам, на которые с большей вероятностью нажимают, по сравнению со ссылками, на которые вряд ли будет переходить человек, просматривающий Интернет.

По сути, если ссылка видна на веб-странице, и пользователь, вероятно, нажмет на эту ссылку, то Google придает этой ссылке больший вес.

Но что означает Google, когда они говорят «вес»? Это одна из областей SEO, которую очень неправильно поняли, и у меня есть свой взгляд на это.

в оригинальная бумага PageRank опубликованные Ларри Пейджем и Сергеем Брином в 1998 году, они описали важный аспект того, как PageRank рассчитывается при прохождении через сеть от ссылки к ссылке. Этот аспект является демпфирующим фактором PageRank:

«Мы предполагаем, что на странице A есть страницы T1… Tn, которые указывают на нее (т. Е. Являются цитатами). Параметр d представляет собой коэффициент демпфирования, который можно установить в диапазоне от 0 до 1. Обычно мы устанавливаем значение d в 0,85 ».

Это означает, что когда страница А ссылается на страницу В, процент ссылки на страницу А, связанный со страницей В, составляет процент. В исходной статье ребята из Google установили это значение равным 0,85; так что 85%.

Затем, когда страница B ссылается на страницу C, снова применяется коэффициент 0,85, что снижает значение ссылки на страницу C до 72,25%. И так до тех пор, пока не уменьшится значение всей ссылки.

Этот фактор демпфирования PageRank, как я полагаю, относится к Google, когда они говорят о «весе» ссылки. Я считаю, что фактор является одним из параметров, с которыми Google играет, чтобы придать более или менее весомый вес ссылкам в определенных контекстах.

Таким образом, ссылка, которая является очень заметной и имеет высокую вероятность нажатия, будет подвергаться более низкому коэффициенту демпфирования PageRank. Например, такая ссылка будет иметь коэффициент демпфирования 0,90, то есть будет потеряно только 10% значения ссылки на странице А.

А ссылки, которые имеют низкую вероятность нажатия на них, такие как ссылки в нижнем колонтитуле страницы, могут иметь намного более высокий коэффициент демпфирования PageRank и потерять намного большую ценность ссылки.

[ Напомним, что именно поэтому я считаю, что подкаталоги лучше, чем поддомены: я думаю, что коэффициент демпфирования PageRank для внутренних ссылок в пределах одного домена установлен ниже, чем коэффициент демпфирования для междоменных ссылок. Поскольку субдомен по сути является отдельным сайтом, ссылки с субдомена на основной сайт подвергаются более высокому коэффициенту демпфирования, чем обычные внутренние ссылки в том же домене. ]

PageRank и перенаправления

Наконец, я хочу обсудить, как PageRank проходит через перенаправления. В нескольких случаях Google заявляли, что перенаправления работают так же, как ссылки. квотирование Мэтт Каттс несколько лет назад :

«Количество PageRank, которое рассеивается через 301, в настоящее время идентично количеству PageRank, которое рассеивается через ссылку».

По сути, это означает, что коэффициент демпфирования PageRank применяется к перенаправлениям так же, как и к ссылке. Многие оптимизаторы интерпретировали это как причину, чтобы перестать беспокоиться о перенаправлениях, но эти оптимизаторы будут ошибаться. Ссылка теряет PageRank, как и перенаправление.

Вот почему так важно, чтобы ваши внутренние ссылки не приводили к перенаправлениям, потому что вы теряете дополнительный PageRank на своем сайте. Прямая внутренняя ссылка будет Страницей A> Страница B и потеряет только 15% стоимости ссылки. Когда у вас есть перенаправление в середине, вы в конечном итоге получаете страницу A> Redirect> Page B, и вы теряете вдвое больше PageRank в процессе; исходная ссылка теряет значение 15%, а затем перенаправление также теряет значение 15%.

В последнее время Гари Иллис перепутал вопросы, сказав следующее:

Я думаю, что Гэри ошибается в этом упрощенном утверждении (или, по крайней мере, несколько неточном), главным образом потому, что мы видим, что исправление перенаправлений, указывающих непосредственно на конечные URL-адреса назначения, приводит к улучшению сканирования и ранжирования этих URL-адресов.

Теперь я признаю, что могу ошибаться по этому поводу, но когда воспроизводимые наблюдения вступают в противоречие с «официальными» заявлениями, я склоняюсь к своим наблюдениям.

Это все о URL

Хотя мы начинаем видеть результаты рейтинга Google без URL-адресов (особенно для записей графа знаний), в настоящее время URL-адреса останутся краеугольным камнем Интернета. Веб-страница - это, по сути, URL со связанным контентом.

Поисковые системы, такие как Google, основаны на URL. Вот почему, когда речь идет о не-веб-интернет-технологиях, таких как приложения для смартфонов, Google по-прежнему хочет сканировать их, используя URL-адреса. Цитируя их Документация по индексации приложений :

«Чтобы индексировать содержимое вашего приложения в Google, используйте те же URL-адреса в приложении, которые вы используете на своем веб-сайте, и убедитесь, что вы являетесь владельцем приложения и своего веб-сайта. Поиск Google сканирует ссылки на вашем сайте и отображает их в результатах поиска. Затем пользователи, которые установили ваше приложение на своих устройствах, сразу переходят к контенту в вашем приложении, когда нажимают на ссылку ».

Здесь тоже все дело в URL. Когда вы по-настоящему поймете этот аспект Интернета и то, как поисковые системы являются по сути машинами обработки URL, тогда все остальное встанет на свои места.

Похожие

Комментарии