Очередь на индексирование. Как запросить повторное сканирование страниц. Как запросить сканирование страниц

Обычно средний срок индексации «Яндексом» составляет 1–2 недели.

Некоторые блоги индексируются гораздо быстрее. Посты, которые я публикую в своем блоге индексируются Яндексом в течение двух часов, или даже в течение двух минут. Но бывают исключения.

Так произошло с двумя страницами «Как писать тексты, чтобы выйти в топ? » (14.04.2011) и «iForum 2011. Что было в этом году » (18.04.2011). Что с ними? Почему они не в индексе? Уже прошло столько времени.

Я уже и перепостил в твиттер и разместил ссылки на двух других блогах и воспользовался формой добавления //webmaster.yandex.ru/site/add.xml.

Здравствуйте.

Подскажите, пожалуйста, в чем может быть причина.

С уважением, Илья.

В скором времени пришел ответ Платона:

Здравствуйте, Илья!

Указанная страница уже проиндексирована роботом и должна появиться в результатах поиска после следующего обновления поисковых баз. Пожалуйста, подождите еще несколько дней.

—
С уважением, Платон Щукин
Служба поддержки Яндекса
help.yandex.ru

Честно говоря, я был утешен этим ответом. Но после обновление поисковой выдачи Яндекса, которое произошло 29.04.2011 я стал опять обеспокоен. Эти страницы так и не появились в поисковой выдаче. Но почему? Что с ними не так? Продвижение неизбежно только с проиндексированными ссылками. Иначе они попросту не учитываются, хотя и размещены на странице.

Гугл, между прочим, проиндексировал оба документа.

Ну ладно, пока Яндекс обновляет свои базы поисковой выдачи, предлагаю вашему вниманию замечательный ролик о технологиях будущего, выполненных на стекле. В принципе, веб-сайты, думаю, тоже будут развиваться в этом направлении. В частности, интерфейсы и навигация уже частично выглядит так уже сейчас.

P.S. 30 апреля проверил - страницы уже в индексе Яндекса. 24.04.2011 была сохранена копия этих страниц. Ура!

С новыми сайтами дела не всегда выглядят хорошо. Яндекс их очень меддленно индексирует. В Яндекс.Вебмастере написано:

Ваш сайт не проиндексирован Яндексом. (Сайт успешно добавлен в очередь на индексирование)

Если сайт новый и ранее не был известен роботу, то после добавления его в сервис Яндекс.Вебмастер он начнёт индексироваться и затем появится в поиске. Обычно это происходит в течение двух недель с момента добавления сайта.

Яндекс.Вебмастер пишет, что сайт не проиндексирован, потому что новый, но в тоже время может проиндексировать 2 страницы. Вот почему, для проведения конкурсов «Продвижение неизбежно» соревнования проводятся в русском Гугле.

При добавлении нового сайта в Яндекс.Вебмастер, появляется сообщение, что сайт добавлен в очередь на индексацию. По истечение двух-трех дней уже есть сдвиги:

Сайт начал индексироваться. Страницы должны появиться в поиске через 1-2 обновления поисковой базы. В поиске могут присутствовать страницы проиндексированные быстрым роботом.

В связи с задержкой последних апов, Яндексу задают вопросы на которые он дает не менее познавательные ответы

Что касается статистики апов, она отображена в таблице.

Как ускорить индексацию сайта

Ну и наконец небольшой лайфхак, как поспособствовать ускорению индексации сайта. Просто-напросто нужно обзавестись парой-тройкой жирных внешних ссылок на нужную вам страницу (например, новую статью в вашем блоге). Важно, чтобы ссылки шли с трастовых сайтов и популярных (тематических) групп социальных сетей, куда

• Сканирование может занять как несколько дней, так и несколько недель. О его ходе можно узнавать с помощью специального отчета или инструмента проверки URL .
• Сроки обработки запросов, поданных любым из перечисленных способов, практически одинаковы.
• Для запросов сканирования отдельных URL существуют квоты.
• Если запросить повторное сканирование одного и того же URL или файла Sitemap много раз, оно не будет выполнено быстрее.

Как запросить сканирование страниц

Чтобы запросить сканирование URL, выполните следующие действия:

1. Проверьте URL с помощью этого инструмента .
2. Выберите Запросить индексирование . Инструмент проверит страницу на наличие проблем с индексированием. Если таковые не обнаружатся, страница будет добавлена в очередь на индексирование. Если инструмент выявит проблемы, постарайтесь их решить.

Существует несколько способов запросить сканирование файла Sitemap:

• Воспользоваться специальным отчетом .
• Выполнить запрос ping. В браузере или командной строке отправьте запрос GET на приведенный ниже адрес, указав полный URL файла Sitemap и убедившись, что этот файл доступен:
  http://www.google.com/ping?sitemap=
  Пример
  http://www.google.com/ping?sitemap=https://example.com/sitemap.xml
• Вставить в любом месте файла robots.txt строку , указывающую на местоположение файла Sitemap (она будет обнаружена при следующем сканировании). Пример:
  Sitemap: http://example.com/my_sitemap.xml

Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта - sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. В специальном разделе сервиса можно загрузить sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

Яндекс индексирует основные типы документов, распространенных в Сети. Но существуют ограничения, от которых зависит, как будет проиндексирован документ, и будет ли проиндексирован вообще:

• Большое количество cgi-параметров в URL, большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования документов.

  Для индексирования важен размер документа - документы больше 10Мб не индексируются.

  Индексирование flash:

  1. индексируются файлы *.swf, если на них есть прямая ссылка или они встроены в html тегами object или embed ;

     если flash содержит полезный контент, исходный html документ может быть найден по контенту, проиндексированному в swf файле .

В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется.

Яндекс корректно индексирует документы в формате Open Office XML и OpenDocument (в частности, документы Microsoft Office и Open Office). Но следует учитывать, что внедрение поддержки новых форматов может занимать некоторое время.

Допустимо использование тегов и , робот Яндекса индексирует контент, подгружаемый в них, и позволяет найти исходный документ по содержимому фреймов.

Если вы переопределили поведение сервера для несуществующих URL, убедитесь, что сервер возвращает код ошибки 404. Получив код ответа 404, поисковая система удалит данный документ из индекса. Следите, чтобы все нужные страницы сайта отдавали код 200 OK.

Яндекс Вебмастер позволяет:

• добавить Sitemap;
• обновить;
• удалить;
• анализировать.

Как добавить Sitemap в Яндекс Вебмастер

Чтобы добавить файл Sitemap в очередь на индексирование, вам нужно, как и всегда, зайти в сервис Вебмастера — webmaster.yandex.ru. Далее:

1. В разделе «Индексирование» вы найдете пункт «Файлы Sitemap».
2. Добавьте полный адрес файлы Sitemap, например, https://сайт/sitemap.xml.
3. Нажмите «Добавить».
4. Ждите, пока Яндекс Вебмастер проверит файл.

После добавления, файл попадает в очередь на обработку. Робот добавит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в индекс Sitemap, обрабатывается роботом отдельно.

После загрузки напротив каждой карты сайта вы увидите в Яндекс Вебмастере один из статусов:

Обновить Sitemap

Когда в Sitemap происходят изменения, его не нужно удалять из Яндекс Вебмастера и добавлять заново. Поисковик время от времени сам проверяет его на изменения и ошибки.

Если ваш Sitemap не проиндексирован, то это можно ускорить. Нужно зайти в раздел «Индексирование», далее в пункт «Файлы Sitemap». Нажать на значок обновления напротив нужноq карты сайта. Яндекс загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.

Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.

Удалить Sitemap из Вебмастера

В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице «Файлы Sitemap» :

Если для Sitemap была добавлена директива в файле robots.txt, удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.

Поддерживаемые Яндекс Вебмастером форматы

Яндекс принимает Sitemap в форматах:

XML-формат Sitemap

Предпочтительней передавать в формате XML, т.к. в нем можно передать дополнительные данные.

Яндекс поддерживает протокол Sitemap . Используйте этот формат, если хотите сообщить о:

• дате последнего обновления страницы (элемент lastmod);
• частоте изменения страницы (элемент changefreq);
• значимости страницы (элемент priority) - робот загружает страницы поочередно с учетом наличия и значения коэффициента от 0.0 до 1.0. Укажите коэффициент для тех URL, которые наиболее важны для сайта.

https://сайт/ssylki-v-yandex-webmaster/ 2018-06-06 monthly 0.8 ...

TXT-формат Sitemap

В данном формате можно передать только адреса страниц. И всё. Да, грусть и печаль, лучше используйте XML 🙂

Используйте этот формат, чтобы сообщить только об адресах страниц.

Https://сайт/ssylki-v-yandex-webmaster/ https://сайт/zerkala-sajta-v-yandex-webmaster/

Чтобы передавать информацию о видео, в Sitemap укажите ссылки на XML-фиды (см. подробно в Помощи сервиса Я.Видео).
Поиск не поддерживает передачу информации об изображениях, RSS и Atom-фидов с помощью файла Sitemap.

В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок - переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:

• большое количество страниц;
• отдельные страницы без навигационных ссылок;
• глубокая вложенность.

Как создать файл

Добавить Sitemap.xml в Яндекс Вебмастер — видео