Привет! Сегодня я расскажу очень важные вещи, упустив которые можно терять трафик. Часто по мере работы над сайтами, нужно определить: какие страницы проиндексированы, какие нет. Какие страницы требует дополнительного внимания для того, чтобы они попали в индекс.
Особенно это ярко заметно при работе с интернет-магазинами: при работе с огромным количеством товаров/разделов, постоянно добавляются все новые и новые страницы. Поэтому нужен жесткий контроль индексации свежедобавленных страниц, чтобы не терять трафик с поиска.
В этом небольшом уроке я расскажу, как я проверяю страницы сайта на проиндексированность.
Как проверить страницы на индексацию
Как я проверяю проиндексированность конкретной страницы с помощью RDS bar, я уже рассказывал тут.
Ну или же можно просто вбить в Яндекс вот этот код:
url:www.wpnew.ru/about | url:wpnew.ru/about
Или для Google:
info:https://wpnew.ru/about
Конечно, URL адрес wpnew.ru/about меняете на свой.
А что же делать, если нужно проверить проиндексированность десяток/сотен, а то и более статей? Я поступаю следующим образом:
- Ставим замечательную бесплатную программу YCCY (скачать можете отсюда).
- Запускаем ее и переходим в Indexator:
- В левую часть программы загружаем список URL, который нужно проверить на индекс:
- В настройках при работе с Яндекс я поставил работу через Yandex XML. Что такое Яндекс XML лимиты и с чем его едят я уже рассказывал:
- Выбираем интересующую нас поисковую систему, отмечаем что нас интересует (в нашем случае «Индексированность») и нажимаем на кнопку «Начать проверку»:
- И вуаля, справа вы увидим отдельный список проиндексированных страниц, а также того, чего пока нет в индексе:
Что делать с непроиндексированными страницами?
Сервисы для ускорения индексации
Я обычно не проиндексированные страницы прогоняю с помощью разных сервисов, я предпочитаю этот getbot.guru. Да, безусловно не 100% страниц залезают с помощью него в индекс но все же в среднем около 70-80% из прогнанных URL как правило залезает (сильно зависит от адекватности страниц тоже).
Сервис, конечно же, платный, нужно платить за каждый URL. За те страницы, которые не попали в индекс последует возврат средств, что очень справедливо и заманчиво (зависит от тарифа). А уже эти страницы, которые не попали в индекс, я повторно отправляю в сервис. Снова при следующем апдейте часть из этих страниц входит в индекс.
Думаю, разобраться сможете сами, ничего сложно нет. Регистрируетесь -> Создаете проект -> Запускаете проект. Единственное, могут возникнуть сложности при выборе тарифа. Я предпочитаю работать с тарифом «Абсолют апдейт» (кликните на изображение, чтобы увеличить):
Кстати, обратите внимание, что в сервисе тоже можно проверить страницы на проиндексированность. Цена вопроса в районе 10 копеек за 1 URL. Я же предпочитаю бесплатный YCCY, о котором писал выше.
Принцип работы getbot.guru (взял с ветки сёрча):
На страницы из проекта отсылается быстробот яндекса, периодически проверяется индексация страниц проекта в Яндекс, на страницы не вошедшие в индекс, быстробот отсылается ещё раз. После завершения задания, для страниц не вошедших в индекс, осуществляется автоматический возврат средств на баланс. Мы не используем социальные сети и спам методы для привлечения быстробота. Для работы сервиса используется своя сеть новостных сайтов, владельцами которых мы являемся.
Ускорение индексации с помощью Твиттера или новостных сайтов
Ну, если вы не любите прогоны с помощью подобных сервисов, то можно воспользоваться Твиттером. Ссылки в Твиттере поисковики очень хорошо «кушают», если аккаунты более-менее адекватные.
Про это я уже писал относительно подробно в уроке «Как быстро добавить страницу в индекс«. Там помимо твиттера я разбирал еще другие способы быстрой индексации.
Точно также можно купить хорошие ссылки с новостных сайтов (к примеру, в Sape) и загнать быстробота к себе на сайт, тем самым помочь индексации.
Переиндексация существующих страниц
Аналогично можно отправить страницу на перееиндексацию. Проверяя кэш страницы в поисковиках, можно узнать проиндексировалась страница или нет. Как проверить кэш страницы я рассказывал в том же уроке.
Работа с индексом с помощью программы Comparser
YCCY хоть и старая программа, но мне она очень нравится. Я ее использую для проверки индексации известных мне страниц.
Если же нужно выяснить, какие страницы сайта еще не попали в индекс я пользуюсь программой Comparser (я уже писал про нее целый урок). Его принцип простой: он выгружает все URL сайта, которые вы разрешили для индексирования (этот пункт можно менять в настройках) и проверяет каждую страницу на индекс. Либо с помощью простого обращения выгружает первые 1000 страниц из индекса.
И снова, те страницы, которые выявлены, что находятся вне индекса, прогоняем через разные сервисы или твиттер аккаунты. Имейте в виду, что, если вы хотите купить твиты, то хорошо работают незаспамленные аккаунты. К примеру, мне достаточно сделать ретвит своей статьи своим же аккаунтом, она мгновенно попадает в индекс.
Если вдруг нужно проверить «пачку» страниц на переиндексацию, можно снять дату кэширования в той же самом Компарсере:
Так вы можете понять, какие страницы переиндексированы, какие нет.
Стандартные способы улучшения индексации
Ну и конечно, не забывайте стандартные способы улучшения индексации:
- добавление карты сайта;
- создание xml карты сайта;
- внутренняя перелинковка;
- Яндекс Метрика и Google Analytics (да-да, добавление нового сайта в Яндекс Метрику хорошо улучшает его индексацию);
- и вот он секретный метод, который позволяет очень быстро добавить страницу в индекс Google.
Если быть честным, конечно никакой он не секретный, просто не все знают про данный способ. Пользуйтесь. И, конечно же, регулярно добавляйте новые страницы на сайт, чтобы робот почаще к вам заходил. Поисковики любят сайты, которые обновляются регулярно.
Дам еще пару ссылок по теме, если вы вдруг в ходе работы с индексом сайта обнаружили мусор («сопли») и хотите удалить их из индекса:
Друзья, ответьте, пожалуйста, на мои следующие вопросы, для меня это очень важно:
- Как вы проверяете страницы на проиндексированность?
- Как непроиндексированные страницы сайта загоняете в индекс? Какой сервис/софт для этого используете?
Очень удобно-)
Я уже стал не только твоим постоянным читателем, но и комментатором.
Я проверяю всё сразу на сайте pr-cy.ru. Там можно узнать практически всё о своём сайте. А так стараюсь писать чаще и делать анонсы в разные социальные сети, в том числе и для вебмастеров, хотя трафик приносит только Subscribe.
Хотел спросить: как повысить активность на блоге? В день ко мне заходят 20-25 человек, а комментариев, подписок и репостов — нет. Хочется как-то растормошить их, уже и конкурс придумал, но результатов — нет.
Про активность посетителей можно ЗДЕСЬ почитать. Тематику вы выбрали тяжелую, в плане конкуренции. Что бы занять топ 10, придется много денег вложить, подобные блоги в основном на ссылках держатся.
https://wpnew.ru/marafon/urok-64-kak-zastavit-chitatelej-ostavlyat-kommentarii-na-bloge-marafon-nedelya-4.html Наверное плагин ссылку срезал…
Спасибо большое. Я понимаю, что конкуренция большая, но будем стараться продвигать блог. Мне нравиться эта тема, та и опыт хоть маленький, но есть.
Кстати, если я правильно понял, то вы заходили на мой блог; спасибо вам большое)
Да не за что 🙂 Еще анонсы постов хорошо размещать на postpr и grabr, с первого переходы бывают, а со второго, если никто и не придет, можно открытую ссылку(тиц 100) в профиле оставить , по моему даже с анкором можно, точно не помню.
Я оставлял. Уже выделил 5 социальных сетей, где выставляю ссылки.
Попробуй посты сериалы и все посты как-то логически связывать между собой.
Привет Петь. Я проверяю индексацию в «Руки». В индекс гугл, через вэбмастера добавляю, а яндекс сам при апдейтах добавляет. В яндекс раньше через аддурилку отправлял, сейчас установил плагин «If Modified Since». Плагин ставит дату последнего изменения( ну заголовки там, сам знаешь), что ускоряет работу сайта, для вернувшихся посетителей, и отправляет ботов «восвояси», если ничего не изменилось. Правда плагин туповат, иногда приходится включать выключать, работает только на изменения контента, сайдбар игнорит гад…
Хм, интересный способ, спасибо большое.
Петя, спасибо за инфу. Очень круто. У меня как раз есть небольшие проблемы с индексацией. Попробую твои способы)
Какие именно проблемы с индексацией у тебя?
Скачал две предложенные программки, сегодня проверю все статьи своего блога на индексацию.
Успешно проверил?)