Метка: примеры robotx.txt

5
Что делать с robots.txt

Скандал с Robots.txt в Рунете: роботы атакуют

Сначала в поисковиках появились личные sms-сообщения клиентов сотового оператора, затем информация о клиентах секс-шопов, затем данные покупателей электронных билетов на пассажирские поезда РЖД. Затем в Гугле нашлись служебные документы российских государственных министерств и ведомств под грифом «секретно». Что за фигня происходит?)

Нужны советы по продвижению сайта? Подпишись сейчас!