::( Читая логи доступа к сайту…

возникает ощущение что меня читают только боты всяких поисковиков, и не большое количество живых людей которые как то сюда все таки попадают, на фоне ботов их и заметить сложно… даже грустно стало как то. Только вчера обрадовался что Яндексный бот не грузит сервер, так сегодня он появился с нового ip и за прежнее взялся. Вот что не понимаю так это что каждая ПС (поисковая система) использует свои шаблоны для robots.txt, а яндексовский паук то вообще по моему согласен видеть только:

User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды

А вот все остальное видеть напрочь не желает… ищу что делать дальше.

Related posts

• Yandex
• Посмотрел статистику разрешений экранов
• Хостинг
• Скачки :)
• Yandex
• Самый вредный блог Beon.ru
• WP-CRON
• WordPress 2.9
• По блогу бегают монстрики
• Ого вырос...