コンピュータが人間の言葉を解釈するのを助ける人工知能の一部門である自然言語処理（NLP）における現代の技術は、驚くほどニュアンスがあります。 1つの例は、Facebookの新しい ページのNLP統合 これは、ビジネスのFacebookページからのテキストを自動的に取り込み、顧客からのよくある質問への回答を吐き出すことができます。 しかし、最先端のNLPアルゴリズムであっても、特定のタスクに高度に最適化された問題があります。
Salesforceの研究者であるBryan McCannは、VentureBeatにブリーフィングで語った。「深い学習モデルはしばしば非常に脆弱です。 「翻訳には適したモデルを作ることができますが、センチメント分析や要約ではうまくいかないかもしれません」
引き続き、Salesforce Researchの科学者たちは、チーフサイエンティストのRichard Socherが率いて、この問題を2往復した。 彼らはPythonプログラミングのためのオープンソースのマシンラーニングライブラリであるPyTorchで、10タスクの自然言語処理の課題 – 自然言語デカルトロン（decaNLP） – それを解決できるモデル – マルチタスク質問応答ネットワーク（MQAN） – を開発しました 言語。
「さまざまな自然言語処理タスクを実行できる一般的なモデルを設計しました」とMcCann氏は言います
DecaNLPは、質問応答（モデルが質問と答えに到達するために必要な情報を含む文脈を受け取る）と機械翻訳（これはモデルが入力を翻訳するようにする）を含む真実な言語テストの挑戦を通してMQANを置きます ある言語から別の言語への文書）。 ドキュメント要約テスト、自然言語推論テスト、センチメント分析テスト、セマンティックロールラベリングテスト、リレーション抽出テスト、ゴール指向ダイアログテスト、クエリ生成テスト、および代名詞解決テストがあります。
上：MQANトレーニングの図。
画像クレジット：Salesforce
モデルの性能を判断するために、研究者は各テストの結果を正規化し、それらを合計して0から1000の間の数、すなわちdecaScoreに到達した。
研究者は、MQANが、タスク特有のモジュールまたはパラメータなしで10回のテストすべてで共同して訓練された場合、各テストで少なくとも10人のMQANが個別に訓練されたことを発見しました。 また、機械翻訳や名前付きエンティティの認識、感情分析や自然言語の推論のためのドメイン適応、テキスト分類のゼロショット機能などの分野では、 改善 シングルタスクモデルと比較します。
McCann氏は、「訓練の課題の1つは、自然言語の質問をデータベースクエリ言語に翻訳することでした。 「我々はそれを明示的に最適化していないが、実際には最先端のパフォーマンスを持っている。 私たちは、NLP問題を解決しようとしている誰にとっても難しさを軽減しました。
Socher氏は、訓練を受けていないタスクでも優れたパフォーマンスを発揮するモデルの能力が、人間の質問から意味を推測することができる、より堅牢で自然なチャットボットの道を開くことができると述べました。
データセットとトレーニングを取得するためのコードは、今日のトップデカスコアのリーダーボードと共にリリースされます。 チームによると、モデルトレーニングは現代GPUで「数日」かかるだろう。