Appleは、昨年11月に初めて確認されて以来、長らく噂されていたウェブクローラー「Applebot」の詳細を公開しました。同社は最近更新されたサポートドキュメントで、このクローラーの詳細をいくつか公開しました。
AppleInsider:
Appleによると、Applebotは主にSiriとSpotlightをサポートするクローラーです。どちらのサービスもウェブ検索機能を備えていますが、これまでAppleはGoogleやBingなどの既存の検索エンジンを経由してクエリをルーティングしていると考えられていました。
Applebotの動作はGoogleのGooglebotクローラと似ており、Applebot固有の指示が見つからない場合はGooglebotの指示に従います。ウェブサイト運営者の方は、クローラに関するご質問やご不明な点がございましたら、Appleのネットワークオペレーションセンターまでお問い合わせください。
Applebotがどれくらいの期間稼働していたかは不明です。しかし、ある開発者が2014年11月に、Appleが割り当てた17.0.0.0/8のアドレスブロックにクローラーからのアクセスが多数あることに気づき、このクローラーを発見しました。