Разоблачение: секретная формула Google

Успех или неудача веб-сайтов зависят от небольшого алгоритма — PageRank от Google. В этой статье мы расскажем, как он функционирует.

Начнем с прописных истин: Интер­нет огромен, а веб-страницы, наоборот, малы. Многие из них предлагают похожий контент. При этом отдельному сайту очень трудно подняться над этой массой. Пользователь сможет найти его только в том случае, если запустит поиск Google и страница появится в самом верху списка. Правила Интернета отличаются жесткостью и напоминают о дарвиновской борьбе за выживание — это правила Google.

Однако если существуют сотни похо­жих страниц, то какая из них окажется наверху, а какая будет загнана в конец списка? Ответ на этот вопрос основате­ли Google Ларри Пейдж и Сергей Брин заложили в формулу алгоритма PageRank. Тот, кто использует его, может сделать свое присутствие в Интернете заметным. Тот, кто пренебрегает им, будет наказан. Однако как же работает PageRank, и в каком случае веб-страница попадает в верхнюю часть списка?

PageRank: как работает формула

PageRank возник из простого и гени­ального логического рассуждения.

1. Для каждой веб-страницы найдется определенное  количество  страниц, которые дают на нее гиперссылку. 2. Каждая из этих веб-страниц, в свою очередь, тоже имеет PageRank.

3. Ссылка со страницы В на страницу А, как при голосовании, может считать­ся одним голосом, отданным В за А.

4. PageRank страницы В придает голосу, отданному за А, дополнительный вес. Следовательно, чем выше PageRank страницы В, тем лучше.

5. В качестве дальнейшего фактора рассматривается общее число ссылок, которые находятся на странице В. Чем меньше число ссылок на странице В, тем лучше это для PageRank страницы А.

Важно следующее: PageRank рас­считывается не для какого-то веб-продукта, а каждой отдельной стра­ницы. Поэтому может случиться так, что определенный документ на веб-сервере будет иметь более высокий PageRank, чем домашняя страница, к которой он принадлежит. В виде формулы вся игра вокруг PageRank выглядит следующим образом:

PR(A) = (1-d) + d (PR(T1)/C(T1) + ... + PR(Th)/C(lh))

Это читается так: PageRank страницы А складывается из PageRank страниц Т1.. .Тп, разделенных соответственно на количество ссылок на этих страницах. При этом следует еще учесть коэффициент затухания.

Принцип PageRank легко объяснить, если предположить, что весь Интернет состоит всего из четырех страниц. Итак, даны страницы А, В, С и D. Каждая имеет исходный вес PageRank, равный 1. Значения, взятые вместе, соответствуют всей условной сети из четырех страниц. Для первого примера будем исходить из того, что каждая из страниц В, С и D демонстрирует одну ссылку на страницу А и помимо этого  икаких других ссылок нет. Если пока пренебречь некоторыми другими факторами, влияющими на PageRank, получается такая формула:

PR(A) = 1/1 + 1/1 + 1/1

Она дает значение PageRank для А, которое равно 3.

Теперь представим себе следующую, более сложную ситуацию (см. график: ) А имеет ссылки на В и С; В — только на А; С указывает на А, В и D; D — только на В. Тогда формула для А будет выглядеть так: PR(A) = 1/1 + 1/3

Ссылка, размещенная на странице В, дает 1, от С мы получаем только 0,33, поскольку она имеет сразу три ссыпки. В результате получатся 1,33. Формула для В будет иметь следующий вид: PR (В) = 1/2 + 1/3 + 1/1 После   округления   получаем   1,83. Значение для С рассчитывается так: PR (С) = 1/2

То есть 0,5. В конце концов, D имеет: PR (D) = 1/3

Или в округленном виде 0,33. В сумме мы вновь получаем общее число всех страниц: 1,33 + 1,83 + 0,5 + 0,33 = 3,99 Оно меньше исходного значения на 0,01 из-за округления. В этом вы­числении не хватает еще кое-чего: в результат не включен PageRank каж­дой страницы. Возьмем еще раз при­мер с веб-страницей В. Если ввести в него показатели PageRank, получен­ные во время выполнения шага 1, то вместо формулы PR (В) = 1/2 + 1/3 + 1/1 получается:

PR (В) = 1,33/2 + 0,5/3 + 0,33/1

Округленный результат равен 1,62. Конечно, новое вычисление значения PageRank для В изменит рейтинги PageRank для страниц А, С и D. А новое значение D, в свою очередь, изменит значение В. Поэтому Google приближа­ется к PageRank итеративно, то есть ступенчато: поисковая система приме­няет результаты предыдущего прохода для вычисления следующего шага итерации. По данным Пейджа и Брина, достаточно 100 итерационных прохо­дов, чтобы получить PageRank мил­лиардов сохраненных страниц.

Коэффициент затухания: с учетом пользователя

Согласно теории Google, PageRank выражает вероятность, с которой интернет-пользователь после перехода по случайной ссылке может попасть на нужную страницу. Но поскольку сле­дует исходить из того, что пользователь делает конечное число переходов, в формулу был введен коэффициент затухания. Он симулирует ситуацию, в которой пользователю надоедает ходить по ссылкам. Это затухание вычисляется с учетом голосов на каж­дую ссылку страницы. В описании своего алгоритма еще на заре становления Google Сергей Брин и Ларри Пейдж использовали коэффициент затухания 0,85. Можно, предположить, что коэффициент при сегодняшних расчетах Google близок к этому значению.

В программах, предназначенных для расчета PageRank, можно увидеть значения от 0 до 10. Но это всего лишь индекс, настоящее значение пара­метра PageRank высчитывается по-другому. Доподлинно неизвестно, какими числами оперирует система, но есть мнение, что значения для страниц имеют число в пределах еди­ницы — то есть от 0 до 1. Получаются маленькие десятичные дроби, отра­жающие PageRank веб-страниц.

Кстати сказать, эксперты пришли еще к одному любопытному наблюдению: чем выше значение PageRank, тем сложнее его улучшить. Google использует логарифмическую шкалу, поэтому преодолеть рубеж PageRank между 2 и 3 гораздо легче, чем между 9 и максимальной отметкой 10. Стоит отметить, что для подавляющего большинства сайтов значения PageRank ограничиваются цифрой 5, далее продвигаются только тысячи сайтов, а значения 10 удостоены единицы.

Фильтры: PageRank и его маленькие помощники

Используя свою формулу PageRank, Google индексировала Сеть с огром­ным успехом. Но триумф вызвал появление паразитов: владельцывеб-сайтов быстро поняли принцип рабо­ты механизма и стали искусственно продвигать свои страницы. Это при­вело к тому, что Google начала изо­бретать новые методы для защиты от таких хитрецов, a PageRank со време­нем превратился лишь в один из фак­торов, влияющих на положение веб­страниц в результатах поиска Google.

Тем не менее PageRank часто используют как своего рода валюту: «Если ты дашь мне две ссылки со стра­ниц с PageRank 4, я дам тебе одну ссыл­ку со страницы с PageRank 5». Все это довольно наивно: простой обмен ссыл­ками ничего не дает, тем более если сайты не связаны одной тематикой.

Однако PageRank — лишь вершина айсберга. В системе есть десятки фильтров, а также различные методы оценки сайтов и результатов поиска.