Кто быстрее индексирует — Яндекс или Google?

Вопрос снят с повестки дня официально. В общем-то, все и так догадывались, что поисковые роботы Гугла более шустрые, а теперь это еще проанализировали и доказали — график прилагается:)

График из отчета Качество поиска и поисковые системы в Рунете

Анализатор скорости индексации оценивает, какое количество новых страниц, появившихся на сайтах за последний месяц, попадает в индекс поисковых машин. Для этого было отобрано 2000 сайтов Рунета, которые сообщают поисковым роботам о новых страницах с помощью файла sitemap.xml.

Лучше всех индексирует новые страницы Google — почти 90% новых страниц оказываются в результатах поиска в течение месяца. «Яндекс» уверенно занимает второе место и старается улучшить этот показатель. Хуже всего индексировали новые страницы на сайтах Рунета Bing и Yahoo (а также «Рамблер» и «Апорт» до «слияния» с «Яндексом»), хотя заметно, что в Yahoo с июня начали улучшать индексацию в Рунете.

При этом интересно, как меняется процент новых страниц в индексе в зависимости от их возраста.

У Google за первые 2 дня после появления в индекс попадает около 60% новых страниц, у «Яндекса» — около 40%, у Mail.ru — менее 10%. За год этот показатель у всех трех поисковых машин практически не изменился.

Страницы, с момента публикации которых прошло 3—6 дней, имеются в индексе Google уже с вероятностью порядка 80% (в течение года не менялось), у «Яндекса» — порядка 50%, у Mail.ru — около 10%.

Существенно, однако, что в первой половине года соответствующий показатель у «Яндекса» был ниже (в среднем порядка 20% — в 2 раза меньше, чем для совсем новых страниц), и при этом был крайне неустойчивым (сильно колебался).

Похоже, «Яндексу» удалось преодолеть неприятный сценарий, когда страницы, заиндексированные «быстроботом», успевали на время выпасть из индекса до того, как попадали в его основную часть.

Страницы, появившиеся 1—2 недели (7—14 дней) назад, находятся Google в 90% случаев, а «Яндексом» — уже приблизительно в 70% случаев.

Здесь тоже чувствуются последствия преодоления «Яндексом» эффекта выпадения заиндексированных «быстроботом» страниц из индекса — по сравнению с февралем 2011 года общие показатели выросли и, главное, стали более устойчивыми (правда, в самом начале 2011 года показатели «Яндекса» по этому параметру были приблизительно такими же, как в его конце).

Что касается Mail.ru, ему удалось за год увеличить процент попадания страниц данной категории в индекс приблизительно в два раза — с 20 до 40%.

Наконец, страницы, появившиеся от 2 недель до месяца (15-30 дней) назад, в течение всего года находились в «Яндексе» как и в Google примерно в 90% случаев.

Что касается Mail.ru, эта поисковая машина сумела за год довести индексацию таких страниц с 30-40 до 70-80%.

Как это знание использовать на практике?

Яндекс не индексирует либо индексирует медленно новые страницы на новых сайтах. Ну и сами новые сайты находятся у поисковика «не в чести». Это выглядит так, будто презумпции невиновности для роботов Яндекса не существует и по умолчанию к «новичкам» в команде разработчики владельцы Яндекс относятся хуже, чем его конкуренты.

В Яндексе на скорость индексации ссылок влияют параметры сайта (тИЦ, PR, ЯК, DMOZ) – индексация быстрее на уже раскрученных сайтах примерно раза в два. Google индексирует быстро все, банит за дело и разбанивает быстрее. Хотя служба поддержки и там, и там оставляет желать лучшего, конечно.

Поэтому новому сайту бороться с «плохой» индексацией Яндексом желательно не покупными ссылками и некогда популярным прогоном по каталогам, а устойчивым графиком обновления, уникальным контентом, правильным формированием урлов, sitemap’ом, пингами к поисковику и настойчивым отсылом ссылки в Яндекс.Вебмастер с разных ip :)

Ну а тем, кто постарше и уже «заслужил» любовь робота, вполне можно позволить себе более активно использовать «народные средства» типа ссылок на новые страницы из блогов, твиттера и др. ресурсов. Вон даже сервисы некоторые предлагают по этому поводу.

И немного лирики напоследок (+себе в архив).

Сказка о поисковиках, их подружках и совсем немного про индексацию