路上でのSiri:テストでは理解度が83%、正確度が62%を測定

路上でのSiri:テストでは理解度が83%、正確度が62%を測定

Siriは大好きですが、正直言って、まだまだ改善の余地があります… アナリストとそのチームが、Siriを使った「Siri-es」なテストを実施したんです。(このテストの意味がお分かりいただけたでしょうか?)Appleのパーソナルアシスタントは、Googleのテキスト入力を完全に置き換えるほど信頼性が高くないと彼らは言っています。

AppleInsider:

Siriとその機能を詳しく調査したのは、パイパー・ジャフレーのアナリスト、ジーン・マンスター氏です。Siriをテストするため、マンスター氏と彼のチームは、静かな部屋でヘッドフォンなしで800回の質問と、ミネアポリスの混雑した路上でSkull Candyのマイク付きヘッドフォンを使って800回の質問を行いました。

このテストでは、路上でのSiriの理解度は83%、正確度は62%でした。静かな部屋では、Siriはわずかに良い結果を示し、質問の89%を理解し、回答の68%を正確に返答しました。

Siri は、手動でクエリを入力して Google で検索した場合と比べて、それほど良い結果を出せませんでした。同じクエリを尋ねられたとき、Google は推定 86 パーセントの回答精度を提供しました。

「Siriの代替として最も可能性が高いのは、Googleの音声検索アプリではなく、iPhoneのGoogleテキスト入力だと考えています」とマンスター氏は説明した。

Siriが理解できた質問の83%のうち、21%は不正確な回答でした。Siriが理解できなかった質問には以下のようなものがあります。

  • 「ペイトン・マニングはどのチームでプレーしていますか?」と、Siri は前の質問に対する答えを返します。
  • 「エルヴィスはどこに埋葬されているのですか?」Siriは「エルヴィス埋葬」という名前の人物を検索しました。
  • 「ここはどこにいるんだろう?」地図のピンが間違った場所に落ちてしまうこともあります。
  • 「映画『シンデレラ』はいつ公開されたの?」SiriはYelpを使って現在の映画館の上映時間を調べようとします。
  • 「ボストンからニューヨークまではどうやって行けばいいですか?」と尋ねると、Siriはこう答えました。「現在地からの道順しか教えられません。あなたがいない場所への道順は教えられません。」

採点に関しては、マンスター氏はグーグルの理解度にA+、正確性にB+を与えたが、アップルのシリは理解度にB、正確性にDの評価を受けた。

「Siriは現在Googleより2年以上遅れていますが、その将来については楽観的です」とマンスター氏は書いている。「秋にリリースされるiOS 6では、SiriがGoogleへの依存を減らしながら、大きく進化すると期待しています。」