クローリング の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• クローリング へ行く。
  • 1 (2021-11-14 (日) 12:03:05)
  • 2 (2022-01-25 (火) 10:29:19)

クローリング†

名称†

• クロール

概要†

• Webサイトのリンクを辿ってページの情報を自動収集すること。

クローリングの方法†

新しいページを見つける方法†

• 既知のページのリンクを辿って検出する
• 既知のウェブサイトのサイトマップを探索して検出する

関連用語†

• スクレイピング
• クローラ
• SEO
• robots.txt