チューリングテストは会話型AIを評価する上で価値がない

AIは新しいユーザーインターフェースになりつつあります。自走車やアマゾンのアレクサからロボアドバイザーや顔認識ロックまで、消費者がAIと対話しているかつてないほど。これはほんの始まりに過ぎません。

何年もの間、AI愛好家はチューリングテスト対話型ボットを開発するためのガイドとして。 1950年に開発されたTuringテストは、信頼性に焦点を当て、人間と区別できない振る舞いをする機械の能力を分析します。研究者たちは長い間、この試験をAIの聖杯とすることを検討してきました。しかし、このベンチマークは、AIが一般的でない時代に作られたもので、人間のクローンを作成するという目的でマシンを作ったチームです。

過去数十年にわたり、ハリウッドのAI映画のような映画の描写彼女そして私、 ロボット 人間の特性を再現しようとした。 Tinseltownのバージョンは、今日の商用技術が達成できるものを超えていますが、私たちはまだこれらに対する現代のAIの応用を測定しているようです架空の解釈。

問題を解決し、人類の猿だけではない

今日、我々はTuringテストとハリウッドのあなたの面白いロボットの間のどこかにいる。 AIは、病気を診断するような微妙で強力な方法で人間の能力を上回っています。これは、コンシューマ向けハイテク市場で最も先進的なアプリケーションの一部を強化するテクノロジーであり、実装の最中です。

現代のAIの応用において、第一の目標は問題を解決することです。人間の特性を再現することは、効果的なAIの複雑な組み合わせの中の1つの成分に過ぎず、多くの人間の特性は逆効果でさえあります。しかし、ボットが思考しているかのように見えるようにするために、会話型AIレスポンスの時間遅延のようなものを構築しているエンジニアには、技術がTuringテストに合格するようにする同様の手法があります。

航空技術者が設計したとき 747 彼らは大西洋を横切ることができるかどうかをテストしました。彼らは機械的なハトを作りようとはしませんでした。同様に、自己運転の車は独特の方法で学び、人間の車輪の後ろにある車とははるかに異なった振る舞いをします。なぜ人工知能は人間のモデルに影響を与えなければならないのですか？

会話型AIの重要性が増している現在、我々は成功とみなし、今日の基準を満たしていないと考えられるものについて、普遍的かつ現実的な理解を持つことが重要です。 AIは、人間とは異なる一連の間違いを作り、これらの間違いからも違ったことを学びます。これは、マシンの成功を人間とは異なる方法で測定する必要があることを意味します。

AIの新しい成功メトリック

では、会話型AIの実用的なアプリケーションのためにTuringテストをどのように更新しますか？私たちは、それがどのように「先進的」であり、第一の目標である効率に焦点を当てるかを離れなければなりません。私たちは、AIを今日の問題の解決方法よりもはるかに優れた代替手段とみなしてください。私たちが前進するにつれて、エンドユーザーに役立つインテリジェントな行動をすべて網羅するように範囲を広げる必要もあります。研究者がAIの成功をより正確に測定するために使用できるいくつかのKPIがここにあります。

コンテキストがどのように適用されるか： 人工知能は真空中で働くべきではないが、状況を認識しているべきである。会話型AIは、さまざまなコンテキストトリガへのアクセスを増やしており、経験を調整する必要があり、人間のエージェントと必ずしも連携しないような方法でこのデータを活用する独自の立場にあります。例えば、消費者として、私がどこにいたかを人間の顧客サービス担当者が正確に知っていれば、私は気が狂っているかもしれません。 AIを使用すると、気分がいいと思うかもしれません。
どのように時間をかけて学ぶ： AIはあらゆる相互作用から学ぶべきです。例えば、研究者は、ボットが人の反応と調子に基づいて適切な情報を提供したかどうかを検討するかもしれません。彼らはまた、マシンが答えることができないユーザーの質問をより詳細に見たいかもしれません。優れたAIのサインは、1日目はトップパフォーマンスではなく、上昇トレンドのカーブです。
どのように包括的かつ接続されているか： これまでのほとんどの「偉大な」会話型AIは、実際には1つのことに優れており、長期的には実用的ではありません。 AIは、さまざまなシステムに接続して顧客の旅全体をカバーする必要があり、人はすべてを1か所で完了することができます。小売業のAIは、たとえば、製品の推奨事項をパーソナライズし、CRMを管理し、注文を行い、ステータスの更新を提供し、顧客サポートを管理する必要があります。
それがどれだけ記憶を保持しているか： 人は自分自身を再導入する必要はありません。会話型人工知能には、短期間および長期間の記憶が必要であり、過去に個人が好きだったことを維持して行動する必要があります。顧客サービスに電話したり、電子メールを送信したり、今日店に入ったりすると、あなたは見知らぬ人です。あなたの好み、過去の購入、ブランドに関する社会的なコメントはすべて不明です。魅力的なAIが、会話全体に散らばったデータシードに作用します。
どのようにニーズを予測するか： AIは、歴史的背景や現在の状況に基づいて消費者が必要とするものを予測できる予測アルゴリズムを活用する必要があります。 AIは、同様の状況において最も肯定的な感情をもたらしたものから、最良の行動方針を特定するために集計データを分析すべきである。
それはどれほど柔軟性がありますか： AIは、消費者がいる場所にいる必要があります。良いAIは、チャットやウェブサイト、音声通話でしか利用できません。成功したAIとそれ以外のものを区別するのは、クロスプラットフォームのパフォーマンスと、すべてのタッチポイントで同じ知識ベースを保持する能力です。

AIは人間ではありません。そして人間はAIではありません。人間がよりよくすることがいつもあるでしょう – 共感と複雑な初回問題を解決することは良い例です。 AIが人間よりも迅速かつ賢明に問題を解決する能力を発揮する場合にのみ、我々は海上を飛行し、機械的なハトの青写真を回避することができます。

Puneet Mehtaは、創業者でCEOの msg.ai 、マーケティング、商取引、顧客サービスのための会話型AIプラットフォームです。