Вопрос снят с повестки дня официально. В общем-то, все и так догадывались, что поисковые роботы Гугла более шустрые, а теперь это еще проанализировали и доказали — график прилагается:)

График из отчета Качество поиска и поисковые системы в Рунете
Скачать весь отчет можно по ссылке — есть кое-что еще интересное в нем.
Анализатор скорости индексации оценивает, какое количество новых страниц, появившихся на сайтах за последний месяц, попадает в индекс поисковых машин. Для этого было отобрано 2000 сайтов Рунета, которые сообщают поисковым роботам о новых страницах с помощью файла sitemap.xml.
Лучше всех индексирует новые страницы Google — почти 90% новых страниц оказываются в результатах поиска в течение месяца. «Яндекс» уверенно занимает второе место и старается улучшить этот показатель. Хуже всего индексировали новые страницы на сайтах Рунета Bing и Yahoo (а также «Рамблер» и «Апорт» до «слияния» с «Яндексом»), хотя заметно, что в Yahoo с июня начали улучшать индексацию в Рунете.
При этом интересно, как меняется процент новых страниц в индексе в зависимости от их возраста.
У Google за первые 2 дня после появления в индекс попадает около 60% новых страниц, у «Яндекса» — около 40%, у Mail.ru — менее 10%. За год этот показатель у всех трех поисковых машин практически не изменился.
Страницы, с момента публикации которых прошло 3—6 дней, имеются в индексе Google уже с вероятностью порядка 80% (в течение года не менялось), у «Яндекса» — порядка 50%, у Mail.ru — около 10%.
Существенно, однако, что в первой половине года соответствующий показатель у «Яндекса» был ниже (в среднем порядка 20% — в 2 раза меньше, чем для совсем новых страниц), и при этом был крайне неустойчивым (сильно колебался).
Похоже, «Яндексу» удалось преодолеть неприятный сценарий, когда страницы, заиндексированные «быстроботом», успевали на время выпасть из индекса до того, как попадали в его основную часть.
Страницы, появившиеся 1—2 недели (7—14 дней) назад, находятся Google в 90% случаев, а «Яндексом» — уже приблизительно в 70% случаев.
Здесь тоже чувствуются последствия преодоления «Яндексом» эффекта выпадения заиндексированных «быстроботом» страниц из индекса — по сравнению с февралем 2011 года общие показатели выросли и, главное, стали более устойчивыми (правда, в самом начале 2011 года показатели «Яндекса» по этому параметру были приблизительно такими же, как в его конце).
Что касается Mail.ru, ему удалось за год увеличить процент попадания страниц данной категории в индекс приблизительно в два раза — с 20 до 40%.
Наконец, страницы, появившиеся от 2 недель до месяца (15-30 дней) назад, в течение всего года находились в «Яндексе» как и в Google примерно в 90% случаев.
Что касается Mail.ru, эта поисковая машина сумела за год довести индексацию таких страниц с 30-40 до 70-80%.
Что меня удивило, так это Mail.ru — судя по постоянным новостям про него, в этот поисковик действительно в последние пару лет вкладывают ресурсы в надежде отвоевать рынок контекстной рекламы у Яндекса…
Хотя, если подумать, имея столько персональных данных о пользователях из Одноклассников и МоегоМира, о создании своего поисковика давно пора было думать. Вон Гугл опомнился и целый ГуглПлюс с нуля и при жесточайшей конкуренции за 600 миллионов usd запустил, только чтобы подобные данные у себя иметь…
Как это знание использовать на практике?
Яндекс не индексирует либо индексирует медленно новые страницы на новых сайтах. Ну и сами новые сайты находятся у поисковика «не в чести». Это выглядит так, будто презумпции невиновности для роботов Яндекса не существует и по умолчанию к «новичкам» в команде разработчики владельцы Яндекс относятся хуже, чем его конкуренты.
В Яндексе на скорость индексации ссылок влияют параметры сайта (тИЦ, PR, ЯК, DMOZ) – индексация быстрее на уже раскрученных сайтах примерно раза в два. Google индексирует быстро все, банит за дело и разбанивает быстрее. Хотя служба поддержки и там, и там оставляет желать лучшего, конечно.
Поэтому новому сайту бороться с «плохой» индексацией Яндексом желательно не покупными ссылками и некогда популярным прогоном по каталогам, а устойчивым графиком обновления, уникальным контентом, правильным формированием урлов, sitemap’ом, пингами к поисковику и настойчивым отсылом ссылки в Яндекс.Вебмастер с разных ip :)
Ну а тем, кто постарше и уже «заслужил» любовь робота, вполне можно позволить себе более активно использовать «народные средства» типа ссылок на новые страницы из блогов, твиттера и др. ресурсов. Вон даже сервисы некоторые предлагают по этому поводу.
И немного лирики напоследок (+себе в архив).