Пробую добавить новую страницу в Яндекс - http://webmaster.yandex.ru/add.xml.
Получаю ответ: Адрес http://acdexpress.ru/belorussia/kalinkovichi.php не был внесен в базу Яндекса, так как в настоящее время невозможно установить соединение с сервером, на котором он расположен.
Это сегодня происходит целый день. Статистика показывает, что за день не было ни одного робота, хотя обычно их несколько в день с просмотром около 50 страниц в среднем.

Сайт на indigo2.maxnet.ru доступен для посетителя, но, видимо, не для поискового робота.
В интернете иногда пеняют на хостинг (фильтры там или уровень безопасности).
Можно ли это поправить ? Помню такое было и раньше ...

Сегодня все повторилось - опять ни одной страницы роботы не увидели ...
Так можно и из поиска вылететь!!!

попробовал добавить свою страницу, хостящуюся на индиге2 - добавляется без проблем.
http://www.yandex.ru/yandsearch?serveru ... orussia%2F - яндекс Ваш сайт знает. Зачем еще раз добавлять конкретную страницу? Если страницы связаные - роботы сами страницу найдут и проиндексируют.

Посмотрите в директории logs access_Mar07.log. При добавлении туда приходит бот яндекса с ip например 213.180.206.223 и забирает robots.txt и добавляемую страницу.

_________________
Михаил

Верно 213.180.206.223 просмотрел robots.txt и запрос страницы до Apache не дошел :(( в логах записи просмотра страницы отсутствуют! Это в последние два дня ... раньше гляжу, добавлял, все было ОК!

"Зачем еще раз добавлять конкретную страницу?"
Ускорить процесс ... хотя не спорю - это необязательно.
Тоже проверял другие сайты на данном ip, там все ОК!

ощущение что что-то в robots.txt бота спугнуло раз он robots забрал и дальше не пошел. Вообще странно. Тем более в роботс ничего такого нет. Если уж robots забрал, то сайт явно должен считаться доступным и добавляться в индекс спокойно.

_________________
Михаил

Три дня ни один поисковик не заходил на сайт !!! Только сегодня Google начал бегать с 2 часов ночи. Посещаемость упала, правда, только с Яндекса.

Тут новая беда - Яндекс стал считать основным домен с www, а без www зеркалом. Изначально давно были сделаны шаги: директива host - acdexpress.ru, на сайте все ссылки абсолютны на http://acdexpress.ru/, при заходе на www был 301 редирект на страницу без www (кроме главной, которая была доступна в обоих случаях). С сайтом ничего не делалось и тут нате счастье, т.е. нельзя пинять на скрипты.

Т.к. это произошло со всеми поисковиками, то в Интернете нашлась подходящая версия. Могло ли быть как ниже ?
robots.txt - отдавал код text/html, а не text/plain, и поэтому код файла отдавался в виде одной строчки и закрывал домен без www (т.е. что было в host).
В эту версию укладываются следующие моменты:
- Перестали ходить ВСЕ поисковики
- "ощущение что что-то в robots.txt бота спугнуло раз он robots забрал и дальше не пошел"
- Яндекс стал считать основным домен с www

В robots.txt было так:
User-Agent: *
Disallow: /private/
User-Agent: Yandex
Host: acdexpress.ru

Неприятной особенностью обработки Яндексом robots.txt является то, что если робот чего-то в robots.txt не понимает, то он считает (на всякий случай, чтобы не обвинили в невежливости), что тут всё disallow. И действует соответственно. Попробуй обратиться в их техступпор. Буду признателен за отчёт, т.к. и у самого бывали схожие проблемы, вынудившие, в конечном счёте, вообще отказаться от robots.txt

_________________
пишите на 'Max Brown'<mx@obninsk.ru>
(поскольку работает спам-фильтр)

Поставил редирект с единственной доступной страницы с www (дубль главной) и удалил Dissalow из robots.txt - Яндекс быстро вылечился.