Поисковый робот: User-Agent ботов поисковых систем 2020 [Всего: 302 робота]
0 (0)

Что такое поисковые роботы?

Что такое поисковые роботы?

Поисковый робот — специальная программа, принадлежащая определенной поисковой системе и предназначенная для индексирования (занесения в базу сайтов поисковой системы) веб-сайтов и их страниц, найденных в интернет-пространстве. Также принятые  названия: краулер, бот, паук, webcrawler, bot, automaticindexer, ant, webrobots, webspider, webscutter.

Поисковый робот — специальная программа, принадлежащая определенной поисковой системе и предназначенная для индексирования (занесения в базу сайтов поисковой системы) веб-сайтов и их страниц, найденных в интернет-пространстве. Также принятые  названия: краулер, бот, паук, webcrawler, bot, automaticindexer, ant, webrobots, webspider, webscutter.

Полный #список поисковых роботов и их владельцев! Обновление 2020 #краулер, #бот, #паук, #webcrawler, #bot, #automaticindexer, #ant, #webrobots, #webspider, #webscutter, #crawler, #статистика #мойсайт #роботы #поисковики Klick um zu Tweeten

Принцип работы поисковых роботов (пауков)

Алгоритм работы поисковой системыПоисковый робот является программой браузерного типа. Он постоянно сканирует веб-пространство, посещая уже известные ему (проиндексированные) сайты, проходя по ссылкам с них и находя, таким образом, новые ресурсы. Обнаружив неизвестный сайт, и проведя некоторые процедуры, робот добавляет его в индекс поисковой системы.

Кроме того, поисковым роботом индексируются обновления на сайтах. Причем, периодичность обновлений фиксируется. К примеру, сайт, обновляемый раз в неделю, будет посещаться роботом с той же частотой, а информация на новостных сайтах может индексироваться уже через несколько минут.

Сайтам, не обладающим внешней ссылочной массой, то есть тем из них, на которые не ведут ссылки с других ресурсов, чтобы быть проиндексированными, необходимо привлечь внимание поисковых роботов. Для этого сайт добавляется в специальную форму поисковой системы. К примеру, в панель вебмастера Яндекс, или в Центр вебмастеров Google. Дополнительно, Вы можете посмотреть результаты работы поискового робота для Microsoft Bing.com, Mail.ru и Baidu.com

Виды поисковых роботов

Поисковый робот: User-Agent ботов поисковых систем [Всего: 302 робота]На самом деле понятием «поисковый робот» объединена их некоторая совокупность. Каждая поисковая система улучшает процесс сканирования веб-пространства и индексацию, используя несколько роботов, наделенных более узкой специализацией. К примеру, поисковик Яндекс сегодня использует следующие, действующие одновременно боты:

  • Yandex/1.01.001 (compatible; Win16; I) — это основной робот Яндекса, занимающийся индексацией.
  • Yandex/1.01.001 (compatible; Win16; P) — его задача: индексация картинок.
  • Yandex/1.01.001 (compatible; Win16; H) — предназначается для обнаружения зеркал сайтов.
  • Yandex/1.03.003 (compatible; Win16; D) — определяет соответствие параметрам индексации страницы, добавленной через форму панели вебмастера. Он первым посещает добавленный ресурс, и только после его положительной оценки за работу принимается основной поисковый бот Yandex/1.01.001.
  • Yandex/1.03.000 (compatible; Win16; M) — данный робот посещает страницу после ее открытия по ссылке «Найденные слова» в поисковой выдаче.
  • YaDirectBot/1.0 (compatible; Win16; I) — индексирует сайты из рекламной сети Яндекса.
  • Yandex/1.02.000 (compatible; Win16; F) — отвечает за индексацию фав-иконок сайтов.

Второй по значимости в Рунете поисковик Google использует похожих по функциям поисковых роботов:

  • Робот Googlebot — основной индексирующий робот системы.
  • Googlebot News — специально созданный для сканирования и индексирования новостей робот.
  • Googlebot Images — робот, занимающийся поиском и индексацией изображений.
  • Googlebot Video — поиск и индексация видео.
  • Google Mobile — индексация сайтов для мобильных устройств.
  • Google AdSense и Google Mobile AdSense — индексация сайтов, участвующих в рекламной сети Google.
  • Google AdsBot — робот, проверяющий качество целевой страницы.

Другие поисковые системы также используют несколько видов роботов, функционально схожих с перечисленными.

Наиболее популярные поисковые системы

Список наиболее популярных поисковых систем

Имена поисковых роботов наиболее популярных поисковых систем: Яндекс — «Yandex». Google — «googlebot». Рамблер(Mail.ru) — «StackRambler». MSN(Bing) — «msnbot». Yahoo! — «Yahoo! Slurp».

Управление индексацией сайта поисковыми роботами

Управление индексацией сайта поисковыми роботамиНесмотря на то, что чтобы быть замеченным, сайт должен оказаться проиндексированным, далеко не всегда требуется, чтобы вся информация с него была доступна пользователям и, соответственно, поисковому роботу. К примеру, интернет-магазины закрывают от индексации страницы с реквизитами покупателей, значительная часть сайтов — административные данные и т.п.

Закрыть от индексации поисковыми роботами все содержимое сайта или только часть информации, размещенной на нем, можно с помощью файла robots.txt. В нем, согласно определенным правилам, с помощью специальных директив в текстовом формате прописываются указания для поисковых роботов. Надо заметить, что роботы, попадая на сайт, ищут в первую очередь файл robots.txt. Знакомятся с инструкциями (если файл существует) и в соответствии с ними индексируют страницы.

Директивы файла robots.txt:

  • User-agent — обращение к конкретному роботу конкретной поисковой системы.
  • Disallow — может закрывать как весь сайт, так и отдельные его файлы и страницы.
  • Host — сигнализирует роботу, под URL какого зеркала (если сайт имеет зеркала) индексируется ресурс.

Скачать: Основы поисковой оптимизации – теория и практика

Определить, какой робот зашел на сайт, можно с помощью лог-файла, который обычно доступен либо в админке, либо на ftp. Все существующие роботы представляются по одной схеме, но каждый имеет свое название. Например: «Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)» — основной индексирующий робот поисковой системы Яндекс.

Read more