Уже целую неделю Яндекс отказывается возвращать выкинутые из индекса страницы сайта. В средстве Яндекс.Вебмастер видим объяснение такому поведению: «1.11.2013 не удалось проиндексировать главную страницу сайта по следующей причине: HTTP-статус: Доступ к ресурсу запрещён (403)».
Срочно заходим на страницу «Проверка ответа сервера» и видим следующее:
Всё нормально. Робот Яндекса получает код статуса HTTP «200 Ок». С роботом мобильных сервисов и роботом поиска по блогам ситуация аналогичная.
Техподдержка отвечает стандартными отписками, которые не учитывают ни изложенны в письме данные, ни текущее положение вещей.
Посещаемость упала вдвое. Даже не знаю что предпринять. Остаётся только ждать — авось, звёзды сойдутся в нужное положение и Робот Яндекса перестанет чудить.
P.S. А между тем количество заходов с Яндекса подросло с 0% до 0,5%!!!
UPD: Причина проблемы, как оказалось, была в кривом шаблоне Joomla, который был сформирован с помощью генератора шаблонов Artesteer. Поисковый робот (паук) Яндекса и страничка проверки ответа сервера находятся на разных IP и взаимодействуют с удаленными серверами по разному. Поэтому при проверке ответа выдавался код статуса HTTP 200, а робот получал HTTP 403.
Сейчас всё нормализовалось — если брать данные только по поисковым системам, у Яндекса 33% трафика а у Гугла 63%. Mail.ru даёт 3%. Оставшийся процент делят Bing, Yahoo, Rambler и др.