Привет! Сегодня я расскажу очень важные вещи, упустив которые можно терять трафик. Часто по мере работы над сайтами, нужно определить: какие страницы проиндексированы, какие нет. Какие страницы требует дополнительного внимания для того, чтобы они попали в индекс.
Особенно это ярко заметно при работе с интернет-магазинами: при работе с огромным количеством товаров/разделов, постоянно добавляются все новые и новые страницы. Поэтому нужен жесткий контроль индексации свежедобавленных страниц, чтобы не терять трафик с поиска.
В этом небольшом уроке я расскажу, как я проверяю страницы сайта на проиндексированность.
- Как проверить страницы на индексацию
- Что делать с непроиндексированными страницами?
- Сервисы для ускорения индексации
- Ускорение индексации с помощью Твиттера или новостных сайтов
- Переиндексация существующих страниц
- Работа с индексом с помощью программы Comparser
- Стандартные способы улучшения индексации
Как проверить страницы на индексацию
Как я проверяю проиндексированность конкретной страницы с помощью RDS bar, я уже рассказывал тут.
Ну или же можно просто вбить в Яндекс вот этот код:
url:www.wpnew.ru/about | url:wpnew.ru/about
Или для Google:
info:https://wpnew.ru/about
Конечно, URL адрес wpnew.ru/about меняете на свой.
А что же делать, если нужно проверить проиндексированность десяток/сотен, а то и более статей? Я поступаю следующим образом:
- Ставим замечательную бесплатную программу YCCY (скачать можете отсюда).
- Запускаем ее и переходим в Indexator:
- В левую часть программы загружаем список URL, который нужно проверить на индекс:
- В настройках при работе с Яндекс я поставил работу через Yandex XML. Что такое Яндекс XML лимиты и с чем его едят я уже рассказывал:
- Выбираем интересующую нас поисковую систему, отмечаем что нас интересует (в нашем случае “Индексированность”) и нажимаем на кнопку “Начать проверку”:
- И вуаля, справа вы увидим отдельный список проиндексированных страниц, а также того, чего пока нет в индексе:
Что делать с непроиндексированными страницами?
Сервисы для ускорения индексации
Я обычно не проиндексированные страницы прогоняю с помощью разных сервисов, я предпочитаю этот getbot.guru. Да, безусловно не 100% страниц залезают с помощью него в индекс но все же в среднем около 70-80% из прогнанных URL как правило залезает (сильно зависит от адекватности страниц тоже).
Сервис, конечно же, платный, нужно платить за каждый URL. За те страницы, которые не попали в индекс последует возврат средств, что очень справедливо и заманчиво (зависит от тарифа). А уже эти страницы, которые не попали в индекс, я повторно отправляю в сервис. Снова при следующем апдейте часть из этих страниц входит в индекс.
Думаю, разобраться сможете сами, ничего сложно нет. Регистрируетесь -> Создаете проект -> Запускаете проект. Единственное, могут возникнуть сложности при выборе тарифа. Я предпочитаю работать с тарифом “Абсолют апдейт” (кликните на изображение, чтобы увеличить):
Кстати, обратите внимание, что в сервисе тоже можно проверить страницы на проиндексированность. Цена вопроса в районе 10 копеек за 1 URL. Я же предпочитаю бесплатный YCCY, о котором писал выше.
Принцип работы getbot.guru (взял с ветки сёрча):
На страницы из проекта отсылается быстробот яндекса, периодически проверяется индексация страниц проекта в Яндекс, на страницы не вошедшие в индекс, быстробот отсылается ещё раз. После завершения задания, для страниц не вошедших в индекс, осуществляется автоматический возврат средств на баланс. Мы не используем социальные сети и спам методы для привлечения быстробота. Для работы сервиса используется своя сеть новостных сайтов, владельцами которых мы являемся.
Ускорение индексации с помощью Твиттера или новостных сайтов
Ну, если вы не любите прогоны с помощью подобных сервисов, то можно воспользоваться Твиттером. Ссылки в Твиттере поисковики очень хорошо “кушают”, если аккаунты более-менее адекватные.
Про это я уже писал относительно подробно в уроке “Как быстро добавить страницу в индекс“. Там помимо твиттера я разбирал еще другие способы быстрой индексации.
Точно также можно купить хорошие ссылки с новостных сайтов (к примеру, в Sape) и загнать быстробота к себе на сайт, тем самым помочь индексации.
Переиндексация существующих страниц
Аналогично можно отправить страницу на перееиндексацию. Проверяя кэш страницы в поисковиках, можно узнать проиндексировалась страница или нет. Как проверить кэш страницы я рассказывал в том же уроке.
Работа с индексом с помощью программы Comparser
YCCY хоть и старая программа, но мне она очень нравится. Я ее использую для проверки индексации известных мне страниц.
Если же нужно выяснить, какие страницы сайта еще не попали в индекс я пользуюсь программой Comparser (я уже писал про нее целый урок). Его принцип простой: он выгружает все URL сайта, которые вы разрешили для индексирования (этот пункт можно менять в настройках) и проверяет каждую страницу на индекс. Либо с помощью простого обращения выгружает первые 1000 страниц из индекса.
И снова, те страницы, которые выявлены, что находятся вне индекса, прогоняем через разные сервисы или твиттер аккаунты. Имейте в виду, что, если вы хотите купить твиты, то хорошо работают незаспамленные аккаунты. К примеру, мне достаточно сделать ретвит своей статьи своим же аккаунтом, она мгновенно попадает в индекс.
Если вдруг нужно проверить “пачку” страниц на переиндексацию, можно снять дату кэширования в той же самом Компарсере:
Так вы можете понять, какие страницы переиндексированы, какие нет.
Стандартные способы улучшения индексации
Ну и конечно, не забывайте стандартные способы улучшения индексации:
- добавление карты сайта;
- создание xml карты сайта;
- внутренняя перелинковка;
- Яндекс Метрика и Google Analytics (да-да, добавление нового сайта в Яндекс Метрику хорошо улучшает его индексацию);
- и вот он секретный метод, который позволяет очень быстро добавить страницу в индекс Google.
Если быть честным, конечно никакой он не секретный, просто не все знают про данный способ. Пользуйтесь. И, конечно же, регулярно добавляйте новые страницы на сайт, чтобы робот почаще к вам заходил. Поисковики любят сайты, которые обновляются регулярно.
Дам еще пару ссылок по теме, если вы вдруг в ходе работы с индексом сайта обнаружили мусор (“сопли”) и хотите удалить их из индекса:
Друзья, ответьте, пожалуйста, на мои следующие вопросы, для меня это очень важно:
- Как вы проверяете страницы на проиндексированность?
- Как непроиндексированные страницы сайта загоняете в индекс? Какой сервис/софт для этого используете?
Скачал две предложенные программки, сегодня проверю все статьи своего блога на индексацию.
Успешно проверил?)
Петя, спасибо за инфу. Очень круто. У меня как раз есть небольшие проблемы с индексацией. Попробую твои способы)
Какие именно проблемы с индексацией у тебя?
Привет Петь. Я проверяю индексацию в “Руки”. В индекс гугл, через вэбмастера добавляю, а яндекс сам при апдейтах добавляет. В яндекс раньше через аддурилку отправлял, сейчас установил плагин “If Modified Since”. Плагин ставит дату последнего изменения( ну заголовки там, сам знаешь), что ускоряет работу сайта, для вернувшихся посетителей, и отправляет ботов “восвояси”, если ничего не изменилось. Правда плагин туповат, иногда приходится включать выключать, работает только на изменения контента, сайдбар игнорит гад…
Хм, интересный способ, спасибо большое.
Я уже стал не только твоим постоянным читателем, но и комментатором.
Я проверяю всё сразу на сайте pr-cy.ru. Там можно узнать практически всё о своём сайте. А так стараюсь писать чаще и делать анонсы в разные социальные сети, в том числе и для вебмастеров, хотя трафик приносит только Subscribe.
Хотел спросить: как повысить активность на блоге? В день ко мне заходят 20-25 человек, а комментариев, подписок и репостов – нет. Хочется как-то растормошить их, уже и конкурс придумал, но результатов – нет.
Про активность посетителей можно ЗДЕСЬ почитать. Тематику вы выбрали тяжелую, в плане конкуренции. Что бы занять топ 10, придется много денег вложить, подобные блоги в основном на ссылках держатся.
https://wpnew.ru/marafon/urok-64-kak-zastavit-chitatelej-ostavlyat-kommentarii-na-bloge-marafon-nedelya-4.html Наверное плагин ссылку срезал…
Спасибо большое. Я понимаю, что конкуренция большая, но будем стараться продвигать блог. Мне нравиться эта тема, та и опыт хоть маленький, но есть.
Кстати, если я правильно понял, то вы заходили на мой блог; спасибо вам большое)
Да не за что 🙂 Еще анонсы постов хорошо размещать на postpr и grabr, с первого переходы бывают, а со второго, если никто и не придет, можно открытую ссылку(тиц 100) в профиле оставить , по моему даже с анкором можно, точно не помню.
Я оставлял. Уже выделил 5 социальных сетей, где выставляю ссылки.
Попробуй посты сериалы и все посты как-то логически связывать между собой.
Очень удобно-)
Как всегда очень полезная статья. Главное то, что можно применить на своем блоге, за это огромное спасибо!
С уважением, Влад Клинков!
Google ввел новую капчу при добавлении страницы в Googlebot (ComparseR перестал добавлять), как дела обстоят с этим?
Для меня ваш урок как нельзя кстати. Недавно начал создавать свой сайт, буду применять на практике. Спасибо!
Петр, спасибо в который раз. Информация про индексацию мне как раз сейчас очень нужна.
По сервису getbot.guru помоему это развод. Несколько раз закидывал туда страницы, брал самый высокий тариф. Итог: Те страницы которые и так были в индексе – сервис говорит что это он туда их добавил и снимает за них деньги, а те что не были так туда и не попадают.
К бесплатной YCCY также прилагается бесплатный троян 🙂
Серьезно?