возникает ощущение что меня читают только боты всяких поисковиков, и не большое количество живых людей которые как то сюда все таки попадают, на фоне ботов их и заметить сложно… даже грустно стало как то. Только вчера обрадовался что Яндексный бот не грузит сервер, так сегодня он появился с нового ip и за прежнее взялся. Вот что не понимаю так это что каждая ПС (поисковая система) использует свои шаблоны для robots.txt, а яндексовский паук то вообще по моему согласен видеть только:

User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды

А вот все остальное видеть напрочь не желает… ищу что делать дальше.