インフォドットTOP ＞ SEO関連用語集 ＞ クローラー
クローラー(Crawler)とは
クローラー
クローラーは、インターネット上のWEBページ間のリンクを辿って巡回し、自動的にデータベース化するソフトウェアエージェントです。
スパイダーやロボットとも呼ばれます。
代表的なクローラー
Googlebot (Google)
Yahoo! Slurp (Yahoo!)
※2007年6月6日 Yahoo! Slurpがinktomisearch.comからcrawl.yahoo.netに変更に。
Slurp (Inktomi)
Scooter (AltaVista)
MSNBot (MSN)
Baiduspider（百度）