Недавно на работе столкнулся с задачей, когда было необходимо проверить большое количество страниц на индексацию в Yandex и Google. Можно без проблем воспользоваться платными сервисами (например, Топвизор), который выдаст всю информацию в красивом виде. Либо какими-то сервисами, которые бесплатно дают проверить только 10 страниц, но страниц таких может быть очень много, а платные сервисы могут обойтись в хорошую сумму. Можно сделать это все бесплатно, но для этого нам понадобиться Кей Коллектор.
В первую очередь нам необходимо будет подготовить ссылки, так как для каждой ПС нам нужны разные команды.
Массовая проверка ссылок в Яндексе
Для проверки в Яндексе необходимо подготовить списком ссылки такого формата:
host:zamal.info/poleznye-seo-servisy/ | url:zamal.info/poleznye-seo-servisy/
host:zamal.info/category/seo/| url:zamal.info/category/seo/
Массовая проверка ссылок в Гугле
В Гугле же будет все немного проще:
site:zamal.info/poleznye-seo-servisy/
site:zamal.info/category/seo/
Для чего эти команды ?
Многие могут сказать, а почему бы просто не вбить адрес ссылки, ведь он сразу покажет либо пустой запрос, либо эту ссылку. Увы, так не прокатит. Да, в каких-то случаях это сработает. Но в иных, Яндекс легко может показать другие УРЛы, которые не связаны с тем, который вбили мы. А Кей Коллектор нам выдаст информацию о том, что страница ваша страница в индексе есть, хотя это не так.
Как так массово сделать ссылки ?
Об этом написал отдельно тут.
Проверяем индексацию страниц через Key Collector
Собрав 2 отдельных списка (ну или один для проверки в определенном ПС), открываем Кей Коллектор. Создаем проект. Заходим в настройки – парсинг и в поле «удалять символы» и «заменять на пробельный символ символы» удаляем все, что там есть и сохраняем.
Затем нажимаем «Добавить фразы» , копируем туда свой список для Яндекса или Гугл и нажимаем «Добавить в таблицу».
Потом в поле (справа сверху) вбиваем URL сайта и нажимаем на значок необходимой нам поисковой системы.
Как долго длиться процесс ?
Это уже все зависит от количества проверяемых ссылок. На проверку 10к страниц у меня ушло где-то 12 часов
Настраиваем экспорт
Пока идет процесс проверки, можно сразу настроить экспорт. Заходим в настройки – экспорт. Внизу ставим галочку только над «Фраза» и «Позиция [Ya]» или «Позиция [G]». После завершения процесса выгружаем все в xls файл (нажимаем на зеленую иконку слева сверху).
Смотрим результат
В итоге у нас получается таблица в две колонки, в которой указана страница и позиция.
1 – в индексе
-1 – не в индексе
Затем мы можем просто отфильтровать непроиндексированные страницы и уже отправить или на переобход страниц (если их немного), либо создать для них отдельную карту сайта и тоже отправить на переобход (добавив ее в вебмастер).
Для Гугла действует ровно такая же схема, отличается лишь командами, о которых писал выше.
Итог
Таким простым способом можно практически бесплатно проверить массово нужные страницы на наличие индексации в поисковиках. Почему практически бесплатно ? Немного съест антикапча, ну это мелочи.
И много страниц было не в индексе? А как подготовил такого вида ссылки? Карта сайта + ексель?
У сайта, над которым я работаю на оф. работе, 18ккк страниц. Перед сезоном популярные товары необходимо было полюбому загнать в индекс. Поэтому мы просто собрали список урлов на определенный товар. Далее программисты через notepad эти ссылки сформировали. Я на самом деле хотел написать как массово всем ссылкам прописать такую команду, но сам точно не знаю как это. Скорее всего разберусь и сделаю для этого отдельную статью, но массово их так сделать не сложно.
А так да, такое над нашими сайтами (не столь крупных) легко провести, просто скачать карту сайта и открыть через эксель, найти страницы не в индексе, отфильтровать их и закинуть на переобход
Чтобы не было запутанностей — теперь есть статья о том, как подготовить ссылки нужного нам вида.
Спасибо тебе дружище!
Очень полезная информация
Рад помочь
мне неохото было заморачиваться с КК.
в сеопульте есть сервис:
https://promopult.ru/tools/indexing_analysis.html
вышло недорого: 1000 страниц — 40р.
времени — пару минут
Как вариант, конечно.
Но нам как-то нужно было более 10к страниц проверять, а 400р уже сумма значительнее)
Спасибо, классно! Все гениальное просто.
Автор абсолютно прав. Когда страниц несколько 100 или 1000, все легко, можно и через сервис.
А когда несколько 10 тысяч, тут без такого способа не обойтись!
Еще раз спасибо!
Пожалуйста
Спасибо за статью! после всего проделанного почему-то прочерк в колонке Позиция в ПС Google http://prntscr.com/o073m0 , хотя делала все для этой ПС
Почему так произошло и как получить данные?
Здравствуйте, Анна. Для Яндекса и для Гугла необходимы разные команды, для Гугла нужна такая «site:url». Все было сделано верно?
да, загрузила в таком виде site:domain.ru/caregory/page
Если все делали по инструкции и не работает, тогда и не знаю
Сейчас у меня нет КК, чтобы самому это все проверить, а судя по комментариям ниже, у всех все работает.
В общем не знаю, честно