Fugu-MT 論文翻訳(概要): Data-Efficient Methods for Dialogue Systems

論文の概要: Data-Efficient Methods for Dialogue Systems

arxiv url: http://arxiv.org/abs/2012.02929v1
Date: Sat, 5 Dec 2020 02:51:09 GMT
ステータス: 処理完了
システム内更新日: 2021-05-22 12:09:04.711961
Title: Data-Efficient Methods for Dialogue Systems
Title（参考訳）: 対話システムのためのデータ効率向上手法
Authors: Igor Shalyminov
Abstract要約: 会話型ユーザインタフェース(CUI)は、SiriやAlexaといったコンシューマにフォーカスした製品において、日常的に広く普及している。ディープラーニングは、対話システムにおける最近のブレークスルーの根底にあるが、専門家によって注釈付けされることが多い、非常に大量のトレーニングデータを必要とする。本稿では,最小限のデータから頑健な対話システムを訓練するための一連の手法を紹介する。
参考スコア（独自算出の注目度）: 4.061135251278187
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Conversational User Interface (CUI) has become ubiquitous in everyday life, in consumer-focused products like Siri and Alexa or business-oriented solutions. Deep learning underlies many recent breakthroughs in dialogue systems but requires very large amounts of training data, often annotated by experts. Trained with smaller data, these methods end up severely lacking robustness (e.g. to disfluencies and out-of-domain input), and often just have too little generalisation power. In this thesis, we address the above issues by introducing a series of methods for training robust dialogue systems from minimal data. Firstly, we study two orthogonal approaches to dialogue: linguistically informed and machine learning-based - from the data efficiency perspective. We outline the steps to obtain data-efficient solutions with either approach. We then introduce two data-efficient models for dialogue response generation: the Dialogue Knowledge Transfer Network based on latent variable dialogue representations, and the hybrid Generative-Retrieval Transformer model (ranked first at the DSTC 8 Fast Domain Adaptation task). Next, we address the problem of robustness given minimal data. As such, propose a multitask LSTM-based model for domain-general disfluency detection. For the problem of out-of-domain input, we present Turn Dropout, a data augmentation technique for anomaly detection only using in-domain data, and introduce autoencoder-augmented models for efficient training with Turn Dropout. Finally, we focus on social dialogue and introduce a neural model for response ranking in social conversation used in Alana, the 3rd place winner in the Amazon Alexa Prize 2017 and 2018. We employ a novel technique of predicting the dialogue length as the main ranking objective and show that this approach improves upon the ratings-based counterpart in terms of data efficiency while matching it in performance.
Abstract（参考訳）: 会話型ユーザインターフェース(CUI)は、SiriやAlexa、あるいはビジネス指向のソリューションといったコンシューマ指向の製品において、日常的に広く普及している。ディープラーニングは、対話システムにおける最近のブレークスルーの根底にあるが、専門家によって注釈付けされることが多い大量のトレーニングデータを必要とする。より小さなデータで訓練されたこれらの手法は、ロバスト性(例:ロバスト性)を著しく欠いている。分散とドメイン外入力に)、そして多くの場合、一般化の力が少ない。本論文では,最小データからロバスト対話システムを学習するための一連の手法を導入することで,上記の課題を解決する。まず,データ効率の観点から,言語情報と機械学習に基づく対話の直交的アプローチについて検討する。いずれのアプローチでも,データ効率のよいソリューションを得るためのステップを概説する。次に、潜在変数の対話表現に基づく対話知識伝達ネットワークと、DSTC 8 Fast Domain Adaptation Taskで最初に引用される)ハイブリッド生成・検索変換モデルという、対話応答生成のための2つのデータ効率モデルを導入する。次に,最小データに対するロバスト性の問題に対処する。そこで、ドメイン一般不整合検出のためのマルチタスクlstmベースモデルを提案する。ドメイン外入力の問題に対して,ドメイン内データのみを用いた異常検出のためのデータ拡張手法であるTurn Dropoutを提案し,Turn Dropoutを用いた効率的なトレーニングのためのオートエンコーダ拡張モデルを提案する。最後に、ソーシャル対話に焦点を当て、Amazon Alexa Prize 2017と2018で3位を獲得したAlanaで使用されているソーシャル会話における応答ランキングのニューラルモデルを導入します。そこで本研究では,対話長を主ランク付け対象とする新たな手法を用いて,データ効率の面から評価に基づく手法を改良し,その性能を比較検討する。

論文の概要: Data-Efficient Methods for Dialogue Systems

関連論文リスト