Есть еще программа XENU - её тоже надо настраивать, иначе она все лимиты мгновенно исчерпает. раньше часто ею пользовался для анализа сайтов. Но теперь она давно не обновляется...

Недавно примерно тоже самое было.

На Миралинкс пришло предложение - разместить готовую статью с двумя исходящими гиперссылками, платят 174 рубля. Разместил.

Конечно, не на 174 рубля польстился, там статья на IT-тематику, и сайт казахстанский - просто подумал "Надо поддержать земляков, а то Казнет вообще плохо развит".

А далее заказчик попер - где эта статья, где анонс на главной?.. Короче ему за 174 рубля нужен сервис как за 1740 рублей... Объяснил ему где и что? И что же - этот, извиняюсь, горе-сеошник этой программой Seo Frog Spider буквально за 30 секунд исчерпал суточный лимит - примерно как в посте выше и сказано...

Заплатил 174, из которых еще Миралинкс свой процент вычтет, а напакостил мне этот заказчик на все 500 рублей.

*

Вообще, это характерная примета наших казахстанских интернет-специалистов. Они стараются как можно меньше заплатить и потом пытаются выклянчить с этих копеек максимум отдачи. Не все такие, конечно и у нас есть нормальные SEO-спецы, но таких мелочных скупердяев большинство.

*

Есть программы, которые создают бараны для баранов! И это порою доставляет много неприятностей...

Именно таковой является программа Seo Frog Spider - это суть парсер, Инструмент туповатых SEO-шников...

Нормальный SEO-специалист такой дрянью никогда не будет пользоваться, или настроит её для эффективного, но безопасного использования. А настроить эту программу - мозги еще те нужны, ибо разработчики бараны...

Итак, Seo Frog Spider - это платная программа и стоит она 280 долларов США за год. Бесплатная версия ограничена 500 адресами. Не годится, одним словом.

Но есть и взломанная версия и потому баранам-пользователя дорога открыта!

Не буду расписывать и разжевывать эту программу, скажу лишь одно - если не настроить в Configuration не провести ГРАМОТНУЮ настройку, например в Speed не ограничить количество одновременных соединений и не выставить задержку между запросами, 100% сканируемый сайт получит проблемы.



А именно - он за несколько минут исчерпает дневной лимит выделенных ресурсов. По сути, эта программа действуя в стиле DDoS-атаки положит ваш сайт на бок... на 24 часа!

Проблема еще в том, что владельцу сайта невозможно её заблокировать, например в файле .htaccess а на robots.txt она плевать хотела! Дело в том, перед запуском процесса сканирования она предлагает вам выбрать User-Agent и это либо YandexBot или Googlebot... не станете же вы блокировать эти боты!

Даже при грамотной настройке, эта программа создает большую нагрузку на сервер. И если хостинг хиловат - он мгновенно рухнет.



*