Индексация сайта роботом Яндекса и формирование поискового индекса

Некоторые веб-мастера и владельцы ресурсов, считают, что если робот Яндекс-а активно посещает их ресурс под санкциями, то это признак “выхода” ресурса из-под этох санкций. К сожалении, это не так.

Механизм формирования поискового индекса разделяется на

  1. индексацию основным роботом Яндекса страниц сайта и сохранение их в базе сохраненных копий; При этом очевидно, что поисковая система Яндекс имеет историю страниц и может иметь неопределенное число их версий.
  2. формирование Яндексом из сохраненных копий страниц непосредственно поискового индекса.

Важно понять, что скаченные основным роботом обновленные страницы могут попасть в поисковый индекс только через определенный временной интервал. Обычно это 2 недели. (Здесь не рассматривается работа, так называемого “быстро робота”)

Такая 2-х ступенчатая система с разделением на две подзадачи позволяет упросить механизм формирования поискового индекса, а так же дает воможность использовать данные, собранные роботом в других подзадачах. Например, для анализа качества и других характеристик индексируемых ресурсов.

Надо отметить, что некоторые виды санкций применяемые к сайтам, например, полное удаление из поискового индекса (”бан”), не вызывают удаление страниц ресурса из базы сохраненных копий. Просто эти ресурсы не участвуют в формировании поискового индекса. При этом робот Яндекса может активно индексировать и переиндексировать такие ресурсы, анализируя и делая выводы о необходимости снятия санкций с таких ресурсов (в случае санкций наложенных автоматически). Так же возможна и обратная сторона анализа страниц из базы сохраненных копий для сайтов, присутствующих в поисковом индексе - решение о необходимости наложения автоматических санкций на ресурсы.

Отметим, что возможно наложение санкций “без возможности восстановления сайта в поиске”. Вот в этом случае, роботу Яндекса запрещается посещать ресурс (однозначно ручная санкция), а данные из базы сохраненных копий страниц для этого ресурса полностью удаляются. Но это уже, так называемый “пожизненный бан”.

9 комментариев для “Индексация сайта роботом Яндекса и формирование поискового индекса”

  1. Скажите пожалуйста, почему мой сайт яндекс никак не проиндексирует вот уже 2-ой месяц ?
    Благодарю за внимание.

    Drey
  2. А как оказалось, надо было “немного” подождать.. Сейчас в индексе аж 22 страницы…

    styler
  3. Я вижу, этот вопрос задают часто. Но у меня он тоже никак не решится. Два месяца существует сайт. Гугл его сразу же нашёл и с Гугла каждый день приходят люди. А Яндекс игнорирует. В чём проблема? Я смотрю, проиндексированы даже те сайты, у которых такая же тематика, но посещаемость значительно ниже.

    Максим
  4. А у меня вообще яндекс сайт удалил… Всё было нормально, 100 поесителей в день, и вдруг бах, за один день стало по 5 человек на сайт заходить((( В чём проблема??? Ответьте на маил плиииииз.

    Влад
  5. Влад, может санкции наложили, а может просто техничекий вылет из индекса. Точно может ответить только Платон. И то, если не слукавит :)
    Почитайте правила Яндекса и посмотрите внимательнее на свой сайт: уберите линкопомойки, поисковый СПАМ, ворованный контент и т.п. и живите спокойно.

    styler
  6. Нормальный сайт Яндекс обычно индексирует за 2 апа. А если не индексирует, то самая частая причина - неуникальный контент.

    робот
  7. робот, верно. Яндекс круто взялся за неуникальный контент. Вот только с определением истинного первоисточника контента у Яндекса очевидные проблемы. Как результат: ворьё контента в “топах”, а первоисточники … под санкциями :)

    styler
  8. Яша проиндексировал половину и остановился , крамешная тишина.Что делать подскажите?так и должно быть.Спасибо?

    Алексей
  9. Алексей, развивать ресурс, избавляться от плагиата и т.п.

    styler

Оставить комментарий

Можно использовать теги: <a href="" rel="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <code> <em> <i> <strike> <strong>