SEO

3 Окт, 2012

Кто быстрее индексирует — Яндекс или Google?

Вопрос снят с повестки дня официально. В общем-то, все и так догадывались, что поисковые роботы Гугла более шустрые, а теперь это еще проанализировали и доказали — график прилагается:)

Кто быстрее индексирует новые страницы - Яндекс или Гугл

График из отчета Качество поиска и поисковые системы в Рунете

Источник информации: аналитический отчет «Качество поиска и поисковые системы в Рунете», 2011, Ашманов и партнеры.

Скачать весь отчет можно по ссылке — есть кое-что еще интересное в нем.

Анализатор скорости индексации оценивает, какое количество новых страниц, появившихся на сайтах за последний месяц, попадает в индекс поисковых машин. Для этого было отобрано 2000 сайтов Рунета, которые сообщают поисковым роботам о новых страницах с помощью файла sitemap.xml.

Лучше всех индексирует новые страницы Google — почти 90% новых страниц оказываются в результатах поиска в течение месяца. «Яндекс» уверенно занимает второе место и старается улучшить этот показатель. Хуже всего индексировали новые страницы на сайтах Рунета Bing и Yahoo (а также «Рамблер» и «Апорт» до «слияния» с «Яндексом»), хотя заметно, что в Yahoo с июня начали улучшать индексацию в Рунете.

При этом интересно, как меняется процент новых страниц в индексе в зависимости от их возраста.

У Google за первые 2 дня после появления в индекс попадает около 60% новых страниц, у «Яндекса» — около 40%, у Mail.ru — менее 10%. За год этот показатель у всех трех поисковых машин практически не изменился.

Страницы, с момента публикации которых прошло 3—6 дней, имеются в индексе Google уже с вероятностью порядка 80% (в течение года не менялось), у «Яндекса» — порядка 50%, у Mail.ru — около 10%.

Существенно, однако, что в первой половине года соответствующий показатель у «Яндекса» был ниже (в среднем порядка 20% — в 2 раза меньше, чем для совсем новых страниц), и при этом был крайне неустойчивым (сильно колебался).

Похоже, «Яндексу» удалось преодолеть неприятный сценарий, когда страницы, заиндексированные «быстроботом», успевали на время выпасть из индекса до того, как попадали в его основную часть.

Страницы, появившиеся 1—2 недели (7—14 дней) назад, находятся Google в 90% случаев, а «Яндексом» — уже приблизительно в 70% случаев.

Здесь тоже чувствуются последствия преодоления «Яндексом» эффекта выпадения заиндексированных «быстроботом» страниц из индекса — по сравнению с февралем 2011 года общие показатели выросли и, главное, стали более устойчивыми (правда, в самом начале 2011 года показатели «Яндекса» по этому параметру были приблизительно такими же, как в его конце).

Что касается Mail.ru, ему удалось за год увеличить процент попадания страниц данной категории в индекс приблизительно в два раза — с 20 до 40%.

Наконец, страницы, появившиеся от 2 недель до месяца (15-30 дней) назад, в течение всего года находились в «Яндексе» как и в Google примерно в 90% случаев.

Что касается Mail.ru, эта поисковая машина сумела за год довести индексацию таких страниц с 30-40 до 70-80%.

Вероятно, на подходе уже новый подобный отчет, но ситуация с индексацией на мой взгляд вряд ли сильно изменилась — Гугл как был более быстрым, так и остался. «Скормить» Гуглу новый контент, в особенности на молодом сайте, по-прежнему намного проще, чем Яндексу.

Что меня удивило, так это Mail.ru — судя по постоянным новостям про него, в этот поисковик действительно в последние пару лет вкладывают ресурсы в надежде отвоевать рынок контекстной рекламы у Яндекса…

Хотя, если подумать, имея столько персональных данных о пользователях из Одноклассников и МоегоМира, о создании своего поисковика давно пора было думать. Вон Гугл опомнился и целый ГуглПлюс с нуля и при жесточайшей конкуренции за 600 миллионов usd запустил, только чтобы подобные данные у себя иметь…

Как это знание использовать на практике?

Яндекс не индексирует либо индексирует медленно новые страницы на новых сайтах. Ну и сами новые сайты находятся у поисковика «не в чести». Это выглядит так, будто презумпции невиновности для роботов Яндекса не существует и по умолчанию к «новичкам» в команде разработчики владельцы Яндекс относятся хуже, чем его конкуренты.

В Яндексе на скорость индексации ссылок влияют параметры сайта (тИЦ, PR, ЯК, DMOZ) – индексация быстрее на уже раскрученных сайтах примерно раза в два. Google индексирует быстро все, банит за дело и разбанивает быстрее. Хотя служба поддержки и там, и там оставляет желать лучшего, конечно.

Поэтому новому сайту бороться с «плохой» индексацией Яндексом желательно не покупными ссылками и некогда популярным прогоном по каталогам, а устойчивым графиком обновления, уникальным контентом, правильным формированием урлов, sitemap’ом, пингами к поисковику и настойчивым отсылом ссылки в Яндекс.Вебмастер с разных ip :)

Ну а тем, кто постарше и уже «заслужил» любовь робота, вполне можно позволить себе более активно использовать «народные средства» типа ссылок на новые страницы из блогов, твиттера и др. ресурсов. Вон даже сервисы некоторые предлагают по этому поводу.

И немного лирики напоследок (+себе в архив).

Сказка о поисковиках, их подружках и совсем немного про индексацию

Читать сказку…
Сказку сочинил sergius, отсюда.

Первым на сайт пришел робот Рамблера. Смотрит — сайт новенький, девственный. Обрадовался, проверил индексацию в Яндексе и Гугле — еще не проиндексирован. И начал его иметь по 150 раз в день.

Вторым пришел Гугл. За один заход оценил обстановку, проверил все ли в порядке, протестировал по всем своим фильтрам и решил двигануть сайт в топ. Гугл не стал наведываться к новому сайту по многу раз за один день, но посещал ежедневно.

Третьим был Яндекс. Посмотрел на сайт, приценился. Смотрит — сайт новый и ссылок на него нет, просто проиндексируем и будем ждать.

Хватит ходить за мной

Сайт начал обрастать ссылками, прикупил сылок. Через недельку-другую появился в Рамблере ТОП-20, в Гугле ТОП-10, в Яндексе ТОП-10.

Сразу изменилось поведение ботов. Рамблер начал заходить «к подружке» через день-два. Гугл ежедневно, но больше смотрел на личико и роботс, не всегда переиндексировал не измененные страницы. А вот Яша стал наведываться почаще — 2-3 раза в день.

По мере приближения к топ-3, все снова изменилось. Яндекс начал иметь сайт по 32 раза в день. Рамблер пару раз в неделю. Гугл один раз в день. А количество внешних ссылок все росло.

И вот Яндекс поставил сайт на 1, 2 и 3 место. Траф с Яндекса увеличился до 3000 посетителей. Рамблер на это никак не отреагировал — в топе сайт закрепился на 3-4-5 месте, так до сих пор и стоит. Но количество ботов Яндекса резко увеличилось.

Гугл обиделся — думает, вот это наглость, сайту нет еще и месяца, а ПР стремится к 5 — задвину-ка я его под фильтр 50 за резкий рост внешних ссылок.

А Рамблер ждет своего часа — думает, вот наиграешься со внешними ссылками, или Яндекс глюканет и выбросит тебя из поиска, тогда я этот сайт поставлю на первое место и только через Рамблер люди смогут найти такой ценный ресурс…

Дмитрий Разахацкий

Этот сайт посвящен интернет-маркетингу во всех его проявлениях. Автор сайта более 15 лет занимается различными проектами в интернете начиная от небольших блогов, заканчивая сложными веб-сервисами и крупными международными интернет-магазинами. Подписывайтесь на рассылку, чтобы быть в курсе обновлений!

Вам понравится

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

девятнадцать − восемь =

Нужны советы по продвижению сайта? Подпишись сейчас!