Как узнать какие страницы проиндексированы Яндексом и Google

Часто требуется узнать, какие страницы сайта находятся в индексе поисковой системы.

Сделать это можно несколькими путями как в ручную, так и используя различные методы автоматизации.

Ручная проверка

Вариант 1
Я Яндексе – идем на Яндекс вебмастер – раздел Проверить сайт. Как вариант – сделать запрос, вида

http://yandex.ru/yandsearch?surl=blog.negotiant.org

В Google – формируем запрос, вида

http://www.google.com/search?&q=allinurl:blog.negotiant.org/+site:blog.negotiant.org

Вариант 2
Смотрим страницы в индексе в соответствующих инструментах – Яндекс Вебмастер – Мои сайты и Google – Инструменты для веб-мастеров.

Минус таких способов – проверяется скопом весь сайт. Информацию по нужной странице нужно выкавыривать руками.

Проферка специализированным софтом

YCCY

Модуль INDEXATOR:

- Пакетная проверка страниц сайтов, на проиндексированность в Яндексе, Google.
- Пакетная проверка сайтов, на количество проиндексированных страниц в Яндексе, Google, Rambler.
- Пакетная проверка обратных ссылок(текста ссылки) в Яндексе, Google.
- Пакетная проверка Google PageRank.
- Поддержка файлов экспорта ссылок PROPAGE, SAPE, XAP.
- Проверка проиндексированности в Яндексе через Mail.ru, Яндекс.XML

Цена: $0

Особого восторга от бесплатности программы не испытал – заставить её толком работать так и не удалось. Возможно, проблема в формате списка ссылок, выгруженного из SAPE.

Yandexoid
Загружает списки URL для проверки только списком из файла в текстовом формате.
Цена: $10 (вроде бы. Хотя, за что?)

Вроде даже и проверяет что-то. Но результат достоверен далеко не на 100% – перепроверял вручную.

Сервисы

Не нашел ни одного.
Куча различных версий самопальных скриптов, выложенных в исходниках и прочего, но реально работающего сервиса – ни одного. Наверно плохо искал.

Казалось бы, что сложного? – Брать sitemap.xml или экспортировать с биржи ссылок, вроде SAPE, парсить оттуда URL, отфильтровывать по robots.txt, и скармливать поисковой системе? – Вроде бы ничего, но факт отсутствия такого сервиса на лицо.
Нечто подобное есть в исходниках: YAP Checker и «Позиции в Яндексе», Парсер проиндексированных страниц в Яндексе.

По поводу скармливания ссылок на проверку в поисковой системе:

Работа через Яндекс.XML позволяет осуществлять проверку индексации ссылок без использования задержек между обращениями к серверу яндекса, что позволяет существенно увеличить скорость проверки.
Работая через XML, яндекс разрешает делать автоматические запросы. Так, что эта опция будет очень полезна для тех, кто постоянно залетает в список роботов яндекса.
Для работы через XML обязательно зарегистрируйте свой IP адрес, следуя по следующей ссылке – http://xml.yandex.ru/ip.xml
Яндекс.XML разрешает сделать только 1000 запросов в сутки с одного IP адреса. Подробности можно найти на http://xml.yandex.ru. При превышении этого лимита программа отрапортует, что лимит исчерпан и перейдёт в обычный режим проверки.

Как известно mail.ru зарубил свой собственный поисковик и пошёл по пути наименьшего сопротивлениея. Заплатил яндексу за безлимитное использование Яндекс.XML и теперь выдаёт на поисковые запросы в точности такой же результат, как и яндекс. Пока go.mail.ru не придумал капчу за эксплуатирование его всякими автоматическими программами. Поэтому если поставить галочку «работать через go.mail.ru» то можно не использовать задержку, о которой говорится в пункте два. Но я рекомендую выставить небольшую задержку, если у Вас выделенный интернет канал. Вполне хватит задержки = 100.
© Блог Владимира Торопчина

Вопрос покупки у Яндекса дополнительного количества проверок считаю не менее интересным – сколько и почём?

На последок ещё один вопрос на засыпку: Как вернуть страницы, исключенные из индекса? В Google можно отправить жалостливый Запрос на пересмотр.
А в Яндексе? – «Удалить URL» – «Добавить URL»? Или тоже писать в службу поддержки?
А может тупо переименовать страницы, например, добавив в начало или конец символ подчеркивания ? – Буду выяснять опытным путём.