robots.txt解析ツール

robots.txtといえば、サイトURLとトップディレクトリに入れて、検索エンジンクローラーに、このページは読まないでください、巡回頻度はこうしてください、このクローラーは来ないでください等など要望をいうファイルです。

BiND for weblifeでは、metaタグを活用して個別ページごとに検索登録するかどうかの機能がついていますが、robots.txtを活用してサイトごと支持することもできるのです。

ロボットエンジンに対する要望として
<meta name="robots" content="index" /> <meta http-equiv="pragma" content="no-cache" />
のがBiND for weblifeでは、標準装備です。

書き方は、こちらでも参考にしてください。
http://www.hyperposition.com/ranking/robotstxt.html

robot.txtを確認する無料ツール