Вы согласились с тем, что они не любят роботов. Не являясь специалистом в этой области, не могу предугадать их способы возможного противодействия Вашему проекту. Искренне желаю удачи, развития и стабильности Вашему проекту.
По моим ощущениям Яндекс усиливает противодействие автоматическим запросам. Надеюсь что проект парсер.рф продолжит работать, несмотря на препоны Яндекса! Проект парсер.рф предоставляет в настройках возможность выбора «Когда проверять» в том числе «Каждый день (данные будут сами обновляться ежедневно к 9 утра МСК)» и с моей дилетантской точки зрения конкретное время проверок должно выбираться исходя из случайных чисел. P.S. Исключительно из желания помочь хоть чем-то проекту парсер.рф как одному из лучших проектов Интернет пространства!
