Урок 406 Массовая проверка индекса страниц сайта в Яндексе и Google, добавление в индекс страниц “пачками”

Индекс сайта

Привет! Сегодня я расскажу очень важные вещи, упустив которые можно терять трафик. Часто по мере работы над сайтами, нужно определить: какие страницы проиндексированы, какие нет. Какие страницы требует дополнительного внимания для того, чтобы они попали в индекс.

Особенно это ярко заметно при работе с интернет-магазинами: при работе с огромным количеством товаров/разделов, постоянно добавляются все новые и новые страницы. Поэтому нужен жесткий контроль индексации свежедобавленных страниц, чтобы не терять трафик с поиска.

В этом небольшом уроке я расскажу, как я проверяю страницы сайта на проиндексированность.

к оглавлению ↑

Как проверить страницы на индексацию

Как я проверяю проиндексированность конкретной страницы с помощью RDS bar, я уже рассказывал тут.

Ну или же можно просто вбить в Яндекс вот этот код:

url:www.wpnew.ru/about | url:wpnew.ru/about

Или для Google:

info:http://wpnew.ru/about

Конечно, URL адрес wpnew.ru/about меняете на свой.

А что же делать, если нужно проверить проиндексированность десяток/сотен, а то и более статей? Я поступаю следующим образом:

  1. Ставим замечательную бесплатную программу YCCY (скачать можете отсюда).
  2. Запускаем ее и переходим в Indexator:
    Программа YCCY
  3. В левую часть программы загружаем список URL, который нужно проверить на индекс:
    Проверка на индекс страницы
  4. В настройках при работе с Яндекс я поставил работу через Yandex XML. Что такое Яндекс XML лимиты и с чем его едят я уже рассказывал:
    proverka-indeksa-yandeksa
  5. Выбираем интересующую нас поисковую систему, отмечаем что нас интересует (в нашем случае "Индексированность") и нажимаем на кнопку "Начать проверку":
    Проверка индекса в YCCY
  6. И вуаля, справа вы увидим отдельный список проиндексированных страниц, а также того, чего пока нет в индексе:
    Результат проиндексированности
к оглавлению ↑

Что делать с непроиндексированными страницами?

к оглавлению ↑

Сервисы для ускорения индексации

Я обычно не проиндексированные страницы прогоняю с помощью разных сервисов, я предпочитаю этот getbot.guru. Да, безусловно не 100% страниц залезают с помощью него в индекс но все же в среднем около 70-80% из прогнанных URL как правило залезает (сильно зависит от адекватности страниц тоже).

Сервис, конечно же, платный, нужно платить за каждый URL. За те страницы, которые не попали в индекс последует возврат средств, что очень справедливо и заманчиво (зависит от тарифа). А уже эти страницы, которые не попали в индекс, я повторно отправляю в сервис. Снова при следующем апдейте часть из этих страниц входит в индекс.

Думаю, разобраться сможете сами, ничего сложно нет. Регистрируетесь -> Создаете проект -> Запускаете проект. Единственное, могут возникнуть сложности при выборе тарифа. Я предпочитаю работать с тарифом "Абсолют апдейт" (кликните на изображение, чтобы увеличить):

Тариф на Getbot.guru

Кстати, обратите внимание, что в сервисе тоже можно проверить страницы на проиндексированность. Цена вопроса в районе 10 копеек за 1 URL. Я же предпочитаю бесплатный YCCY, о котором писал выше.

Принцип работы getbot.guru (взял с ветки сёрча):

На страницы из проекта отсылается быстробот яндекса, периодически проверяется индексация страниц проекта в Яндекс, на страницы не вошедшие в индекс, быстробот отсылается ещё раз. После завершения задания, для страниц не вошедших в индекс, осуществляется автоматический возврат средств на баланс. Мы не используем социальные сети и спам методы для привлечения быстробота. Для работы сервиса используется своя сеть новостных сайтов, владельцами которых мы являемся.

к оглавлению ↑

Ускорение индексации с помощью Твиттера или новостных сайтов

Ну, если вы не любите прогоны с помощью подобных сервисов, то можно воспользоваться Твиттером. Ссылки в Твиттере поисковики очень хорошо "кушают", если аккаунты более-менее адекватные.

Про это я уже писал относительно подробно в уроке "Как быстро добавить страницу в индекс". Там помимо твиттера я разбирал еще другие способы быстрой индексации.

Точно также можно купить хорошие ссылки с новостных сайтов (к примеру, в Sape) и загнать быстробота к себе на сайт, тем самым помочь индексации.

к оглавлению ↑

Переиндексация существующих страниц

Аналогично можно отправить страницу на перееиндексацию. Проверяя кэш страницы в поисковиках, можно узнать проиндексировалась страница или нет. Как проверить кэш страницы я рассказывал в том же уроке.

к оглавлению ↑

Работа с индексом с помощью программы Comparser

YCCY хоть и старая программа, но мне она очень нравится. Я ее использую для проверки индексации известных мне страниц.

Если же нужно выяснить, какие страницы сайта еще не попали в индекс я пользуюсь программой Comparser (я уже писал про нее целый урок). Его принцип простой: он выгружает все URL сайта, которые вы разрешили для индексирования (этот пункт можно менять в настройках) и проверяет каждую страницу на индекс. Либо с помощью простого обращения выгружает первые 1000 страниц из индекса.

Не в индексе Яндекса

И снова, те страницы, которые выявлены, что находятся вне индекса, прогоняем через разные сервисы или твиттер аккаунты. Имейте в виду, что, если вы хотите купить твиты, то хорошо работают незаспамленные аккаунты. К примеру, мне достаточно сделать ретвит своей статьи своим же аккаунтом, она мгновенно попадает в индекс.

Если вдруг нужно проверить "пачку" страниц на переиндексацию, можно снять дату кэширования в той же самом Компарсере:

Дата кэширования

Так вы можете понять, какие страницы переиндексированы, какие нет.

к оглавлению ↑

Стандартные способы улучшения индексации

Ну и конечно, не забывайте стандартные способы улучшения индексации:

Если быть честным, конечно никакой он не секретный, просто не все знают про данный способ. Пользуйтесь. И, конечно же, регулярно добавляйте новые страницы на сайт, чтобы робот почаще к вам заходил. Поисковики любят сайты, которые обновляются регулярно.

Дам еще пару ссылок по теме, если вы вдруг в ходе работы с индексом сайта обнаружили мусор ("сопли") и хотите удалить их из индекса:

Друзья, ответьте, пожалуйста, на мои следующие вопросы, для меня это очень важно:

  1. Как вы проверяете страницы на проиндексированность?
  2. Как непроиндексированные страницы сайта загоняете в индекс? Какой сервис/софт для этого используете?
С уважением, Пётр Александров.
Подпишитесь на бесплатные уроки

Понравился урок? Вы не хотите пропускать новые бесплатные уроки по созданию, раскрутке и монетизации блога? Тогда подпишитесь на RSS или на электронный ящик в форме выше и получайте новые уроки мгновенно! Также можете следить за мной в Twitter.

Ваш комментарий

  1. Руслан
    http://abdullinru.ru

    Скачал две предложенные программки, сегодня проверю все статьи своего блога на индексацию.

    • Пётр Александров
      http://wpnew.ru

      Успешно проверил?)

  2. Андрей (PITON)
    http://shop-udar.ru

    Петя, спасибо за инфу. Очень круто. У меня как раз есть небольшие проблемы с индексацией. Попробую твои способы)

    • Пётр Александров
      http://wpnew.ru

      Какие именно проблемы с индексацией у тебя?

  3. Alex

    Привет Петь. Я проверяю индексацию в “Руки”. В индекс гугл, через вэбмастера добавляю, а яндекс сам при апдейтах добавляет. В яндекс раньше через аддурилку отправлял, сейчас установил плагин “If Modified Since”. Плагин ставит дату последнего изменения( ну заголовки там, сам знаешь), что ускоряет работу сайта, для вернувшихся посетителей, и отправляет ботов “восвояси”, если ничего не изменилось. Правда плагин туповат, иногда приходится включать выключать, работает только на изменения контента, сайдбар игнорит гад…

    • Пётр Александров
      http://wpnew.ru

      Хм, интересный способ, спасибо большое.

  4. Sergey
    http://wpkuklin.ru

    Я уже стал не только твоим постоянным читателем, но и комментатором.
    Я проверяю всё сразу на сайте pr-cy.ru. Там можно узнать практически всё о своём сайте. А так стараюсь писать чаще и делать анонсы в разные социальные сети, в том числе и для вебмастеров, хотя трафик приносит только Subscribe.
    Хотел спросить: как повысить активность на блоге? В день ко мне заходят 20-25 человек, а комментариев, подписок и репостов – нет. Хочется как-то растормошить их, уже и конкурс придумал, но результатов – нет.

    • Alex

      Про активность посетителей можно ЗДЕСЬ почитать. Тематику вы выбрали тяжелую, в плане конкуренции. Что бы занять топ 10, придется много денег вложить, подобные блоги в основном на ссылках держатся.

      • Sergey
        http://wpkuklin.ru

        Спасибо большое. Я понимаю, что конкуренция большая, но будем стараться продвигать блог. Мне нравиться эта тема, та и опыт хоть маленький, но есть.
        Кстати, если я правильно понял, то вы заходили на мой блог; спасибо вам большое)

        • Alex

          Да не за что 🙂 Еще анонсы постов хорошо размещать на postpr и grabr, с первого переходы бывают, а со второго, если никто и не придет, можно открытую ссылку(тиц 100) в профиле оставить , по моему даже с анкором можно, точно не помню.

          • Sergey
            http://wpkuklin.ru

            Я оставлял. Уже выделил 5 социальных сетей, где выставляю ссылки.

    • Пётр Александров
      http://wpnew.ru

      Попробуй посты сериалы и все посты как-то логически связывать между собой.

  5. seoonly.ru
    http://seoonly.ru/

    Очень удобно-)

  6. Влад Клинков
    http://klinkov.biz/

    Как всегда очень полезная статья. Главное то, что можно применить на своем блоге, за это огромное спасибо!

    С уважением, Влад Клинков!

  7. vanya_only
    http://bitby.net

    Google ввел новую капчу при добавлении страницы в Googlebot (ComparseR перестал добавлять), как дела обстоят с этим?

  8. Алексей Карамышев
    http://infomyblog.ru/

    Для меня ваш урок как нельзя кстати. Недавно начал создавать свой сайт, буду применять на практике. Спасибо!

  9. Мария Горицвет
    http://smartfigura.ru

    Петр, спасибо в который раз. Информация про индексацию мне как раз сейчас очень нужна.

  10. Igor

    По сервису getbot.guru помоему это развод. Несколько раз закидывал туда страницы, брал самый высокий тариф. Итог: Те страницы которые и так были в индексе – сервис говорит что это он туда их добавил и снимает за них деньги, а те что не были так туда и не попадают.

  11. Алекс
    http://4memo.ru

    К бесплатной YCCY также прилагается бесплатный троян 🙂

    • Пётр Александров
      http://wpnew.ru

      Серьезно?

Наверх