クローリング

クローリング †

名称 †

• クロール

概要 †

• Webサイトのリンクを辿ってページの情報を自動収集すること。

クローリングの方法 †

新しいページを見つける方法 †

• 既知のページのリンクを辿って検出する
• 既知のウェブサイトのサイトマップを探索して検出する

関連用語 †

• スクレイピング
• クローラ
• SEO
• robots.txt