インフォドットTOP ＞ SEO関連用語集 ＞ ロボットテキスト
ロボットテキスト(robots.txt)とは
ロボットテキスト(robots.txt)
クローラーの訪問に関する制御を行うためにサーバに置いておくテキストファイルです。
このロボットテキストは、主としてロボットの訪問の可否について記述するものとして利用されています。
例) 全ての検索エンジンのクローラーの訪問を拒否
User-agent: *
Disallow: /
↑のように記述することで、クローラーの訪問を拒否できます。
さらに、2006年11月16日からrobots.txtにGoogleSiteMapのような記述を行うことで、Google・Yahoo・MSN・Ask.com(Ask.comに関しては2007年4月11日から）にサイトの情報を伝えることができるようになりました。
※関連：robots.txt 共通サイトマップ