Урок 406 Массовая проверка индекса страниц сайта в Яндексе и Google, добавление в индекс страниц «пачками»

Индекс сайта

Привет! Сегодня я расскажу очень важные вещи, упустив которые можно терять трафик. Часто по мере работы над сайтами, нужно определить: какие страницы проиндексированы, какие нет. Какие страницы требует дополнительного внимания для того, чтобы они попали в индекс.

Особенно это ярко заметно при работе с интернет-магазинами: при работе с огромным количеством товаров/разделов, постоянно добавляются все новые и новые страницы. Поэтому нужен жесткий контроль индексации свежедобавленных страниц, чтобы не терять трафик с поиска.

В этом небольшом уроке я расскажу, как я проверяю страницы сайта на проиндексированность.

к оглавлению ↑

Как проверить страницы на индексацию

Как я проверяю проиндексированность конкретной страницы с помощью RDS bar, я уже рассказывал тут.

Ну или же можно просто вбить в Яндекс вот этот код:

url:www.wpnew.ru/about | url:wpnew.ru/about

Или для Google:

info:http://wpnew.ru/about

Конечно, URL адрес wpnew.ru/about меняете на свой.

А что же делать, если нужно проверить проиндексированность десяток/сотен, а то и более статей? Я поступаю следующим образом:

  1. Ставим замечательную бесплатную программу YCCY (скачать можете отсюда).
  2. Запускаем ее и переходим в Indexator:
    Программа YCCY
  3. В левую часть программы загружаем список URL, который нужно проверить на индекс:
    Проверка на индекс страницы
  4. В настройках при работе с Яндекс я поставил работу через Yandex XML. Что такое Яндекс XML лимиты и с чем его едят я уже рассказывал:
    proverka-indeksa-yandeksa
  5. Выбираем интересующую нас поисковую систему, отмечаем что нас интересует (в нашем случае "Индексированность") и нажимаем на кнопку "Начать проверку":
    Проверка индекса в YCCY
  6. И вуаля, справа вы увидим отдельный список проиндексированных страниц, а также того, чего пока нет в индексе:
    Результат проиндексированности
к оглавлению ↑

Что делать с непроиндексированными страницами?

к оглавлению ↑

Сервисы для ускорения индексации

Я обычно не проиндексированные страницы прогоняю с помощью разных сервисов, я предпочитаю этот getbot.guru. Да, безусловно не 100% страниц залезают с помощью него в индекс но все же в среднем около 70-80% из прогнанных URL как правило залезает (сильно зависит от адекватности страниц тоже).

Сервис, конечно же, платный, нужно платить за каждый URL. За те страницы, которые не попали в индекс последует возврат средств, что очень справедливо и заманчиво (зависит от тарифа). А уже эти страницы, которые не попали в индекс, я повторно отправляю в сервис. Снова при следующем апдейте часть из этих страниц входит в индекс.

Думаю, разобраться сможете сами, ничего сложно нет. Регистрируетесь -> Создаете проект -> Запускаете проект. Единственное, могут возникнуть сложности при выборе тарифа. Я предпочитаю работать с тарифом "Абсолют апдейт" (кликните на изображение, чтобы увеличить):

Тариф на Getbot.guru

Кстати, обратите внимание, что в сервисе тоже можно проверить страницы на проиндексированность. Цена вопроса в районе 10 копеек за 1 URL. Я же предпочитаю бесплатный YCCY, о котором писал выше.

Принцип работы getbot.guru (взял с ветки сёрча):

На страницы из проекта отсылается быстробот яндекса, периодически проверяется индексация страниц проекта в Яндекс, на страницы не вошедшие в индекс, быстробот отсылается ещё раз. После завершения задания, для страниц не вошедших в индекс, осуществляется автоматический возврат средств на баланс. Мы не используем социальные сети и спам методы для привлечения быстробота. Для работы сервиса используется своя сеть новостных сайтов, владельцами которых мы являемся.

к оглавлению ↑

Ускорение индексации с помощью Твиттера или новостных сайтов

Ну, если вы не любите прогоны с помощью подобных сервисов, то можно воспользоваться Твиттером. Ссылки в Твиттере поисковики очень хорошо "кушают", если аккаунты более-менее адекватные.

Про это я уже писал относительно подробно в уроке "Как быстро добавить страницу в индекс". Там помимо твиттера я разбирал еще другие способы быстрой индексации.

Точно также можно купить хорошие ссылки с новостных сайтов (к примеру, в Sape) и загнать быстробота к себе на сайт, тем самым помочь индексации.

к оглавлению ↑

Переиндексация существующих страниц

Аналогично можно отправить страницу на перееиндексацию. Проверяя кэш страницы в поисковиках, можно узнать проиндексировалась страница или нет. Как проверить кэш страницы я рассказывал в том же уроке.

к оглавлению ↑

Работа с индексом с помощью программы Comparser

YCCY хоть и старая программа, но мне она очень нравится. Я ее использую для проверки индексации известных мне страниц.

Если же нужно выяснить, какие страницы сайта еще не попали в индекс я пользуюсь программой Comparser (я уже писал про нее целый урок). Его принцип простой: он выгружает все URL сайта, которые вы разрешили для индексирования (этот пункт можно менять в настройках) и проверяет каждую страницу на индекс. Либо с помощью простого обращения выгружает первые 1000 страниц из индекса.

Не в индексе Яндекса

И снова, те страницы, которые выявлены, что находятся вне индекса, прогоняем через разные сервисы или твиттер аккаунты. Имейте в виду, что, если вы хотите купить твиты, то хорошо работают незаспамленные аккаунты. К примеру, мне достаточно сделать ретвит своей статьи своим же аккаунтом, она мгновенно попадает в индекс.

Если вдруг нужно проверить "пачку" страниц на переиндексацию, можно снять дату кэширования в той же самом Компарсере:

Дата кэширования

Так вы можете понять, какие страницы переиндексированы, какие нет.

к оглавлению ↑

Стандартные способы улучшения индексации

Ну и конечно, не забывайте стандартные способы улучшения индексации:

Если быть честным, конечно никакой он не секретный, просто не все знают про данный способ. Пользуйтесь. И, конечно же, регулярно добавляйте новые страницы на сайт, чтобы робот почаще к вам заходил. Поисковики любят сайты, которые обновляются регулярно.

Дам еще пару ссылок по теме, если вы вдруг в ходе работы с индексом сайта обнаружили мусор ("сопли") и хотите удалить их из индекса:

Друзья, ответьте, пожалуйста, на мои следующие вопросы, для меня это очень важно:

  1. Как вы проверяете страницы на проиндексированность?
  2. Как непроиндексированные страницы сайта загоняете в индекс? Какой сервис/софт для этого используете?
С уважением, Пётр Александров.
Подпишитесь на бесплатные уроки

Понравился урок? Вы не хотите пропускать новые бесплатные уроки по созданию, раскрутке и монетизации блога? Тогда подпишитесь на RSS или на электронный ящик в форме выше и получайте новые уроки мгновенно! Также можете следить за мной в Twitter.

Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Извините, для комментирования необходимо войти.

19 комментариев

по хронологии
по рейтингу сначала новые по хронологии
Руслан http://abdullinru.ru

Скачал две предложенные программки, сегодня проверю все статьи своего блога на индексацию.

Автор
Пётр Александров http://wpnew.ru

Успешно проверил?)

Андрей (PITON) http://shop-udar.ru

Петя, спасибо за инфу. Очень круто. У меня как раз есть небольшие проблемы с индексацией. Попробую твои способы)

Автор
Пётр Александров http://wpnew.ru

Какие именно проблемы с индексацией у тебя?

Привет Петь. Я проверяю индексацию в "Руки". В индекс гугл, через вэбмастера добавляю, а яндекс сам при апдейтах добавляет. В яндекс раньше через аддурилку отправлял, сейчас установил плагин "If Modified Since". Плагин ставит дату последнего изменения( ну заголовки там, сам знаешь), что ускоряет работу сайта, для вернувшихся посетителей, и отправляет ботов "восвояси", если ничего не изменилось. Правда плагин туповат, иногда приходится включать выключать, работает только на изменения контента, сайдбар игнорит гад...

Автор
Пётр Александров http://wpnew.ru

Хм, интересный способ, спасибо большое.

Sergey http://wpkuklin.ru

Я уже стал не только твоим постоянным читателем, но и комментатором.
Я проверяю всё сразу на сайте pr-cy.ru. Там можно узнать практически всё о своём сайте. А так стараюсь писать чаще и делать анонсы в разные социальные сети, в том числе и для вебмастеров, хотя трафик приносит только Subscribe.
Хотел спросить: как повысить активность на блоге? В день ко мне заходят 20-25 человек, а комментариев, подписок и репостов - нет. Хочется как-то растормошить их, уже и конкурс придумал, но результатов - нет.

Автор
Пётр Александров http://wpnew.ru

Попробуй посты сериалы и все посты как-то логически связывать между собой.

Про активность посетителей можно ЗДЕСЬ почитать. Тематику вы выбрали тяжелую, в плане конкуренции. Что бы занять топ 10, придется много денег вложить, подобные блоги в основном на ссылках держатся.

Sergey http://wpkuklin.ru

Спасибо большое. Я понимаю, что конкуренция большая, но будем стараться продвигать блог. Мне нравиться эта тема, та и опыт хоть маленький, но есть.
Кстати, если я правильно понял, то вы заходили на мой блог; спасибо вам большое)

Да не за что 🙂 Еще анонсы постов хорошо размещать на postpr и grabr, с первого переходы бывают, а со второго, если никто и не придет, можно открытую ссылку(тиц 100) в профиле оставить , по моему даже с анкором можно, точно не помню.

Sergey http://wpkuklin.ru

Я оставлял. Уже выделил 5 социальных сетей, где выставляю ссылки.

seoonly.ru http://seoonly.ru/

Очень удобно-)

Влад Клинков http://klinkov.biz/

Как всегда очень полезная статья. Главное то, что можно применить на своем блоге, за это огромное спасибо!

С уважением, Влад Клинков!

vanya_only http://bitby.net

Google ввел новую капчу при добавлении страницы в Googlebot (ComparseR перестал добавлять), как дела обстоят с этим?

Алексей Карамышев http://infomyblog.ru/

Для меня ваш урок как нельзя кстати. Недавно начал создавать свой сайт, буду применять на практике. Спасибо!

Мария Горицвет http://smartfigura.ru

Петр, спасибо в который раз. Информация про индексацию мне как раз сейчас очень нужна.

По сервису getbot.guru помоему это развод. Несколько раз закидывал туда страницы, брал самый высокий тариф. Итог: Те страницы которые и так были в индексе - сервис говорит что это он туда их добавил и снимает за них деньги, а те что не были так туда и не попадают.

Наверх Рейтинг@Mail.ru