論文の概要: On the Robustness of Goal Oriented Dialogue Systems to Real-world Noise
- arxiv url: http://arxiv.org/abs/2104.07149v1
- Date: Wed, 14 Apr 2021 22:14:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 15:17:07.293576
- Title: On the Robustness of Goal Oriented Dialogue Systems to Real-world Noise
- Title(参考訳): ゴール指向対話システムの実環境騒音に対するロバスト性について
- Authors: Jason Krone, Sailik Sengupta, Saab Mansoor
- Abstract要約: 本研究では,雑音データに対する目標指向対話システムの堅牢性について検討する。
人間とボットの会話で見られる6つの一般的な現象のテストスイートを収集した。
これらの現象は、最先端のBERTモデルにおけるIC/SL性能を劣化させることができることを示す。
- 参考スコア(独自算出の注目度): 1.3950131092976248
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Goal oriented dialogue systems, that interact in real-word environments,
often encounter noisy data. In this work, we investigate how robust goal
oriented dialogue systems are to noisy data. Specifically, our analysis
considers intent classification (IC) and slot labeling (SL) models that form
the basis of most dialogue systems. We collect a test-suite for six common
phenomena found in live human-to-bot conversations (abbreviations, casing,
misspellings, morphological variants, paraphrases, and synonyms) and show that
these phenomena can degrade the IC/SL performance of state-of-the-art BERT
based models. Through the use of synthetic data augmentation, we are improve
IC/SL model's robustness to real-world noise by +11.5 for IC and +17.3 points
for SL on average across noise types. We make our suite of noisy test data
public to enable further research into the robustness of dialog systems.
- Abstract(参考訳): リアルワード環境で対話するゴール指向の対話システムは、しばしばノイズの多いデータに遭遇する。
本研究では,目標指向型対話システムの雑音データに対する頑健性について検討する。
具体的には、ほとんどの対話システムの基礎となる意図分類(IC)とスロットラベリング(SL)モデルについて考察する。
実生活における人間同士の会話で見られる6つの共通現象(省略、ケーシング、ミススペル、形態的変種、パラフレーズ、同義語)のテストスーツを収集し、これらの現象が最先端のBERTモデルにおけるIC/SL性能を低下させることができることを示す。
合成データ拡張により,実世界の雑音に対するic/slモデルのロバスト性が +11.5,slが+17.3 ポイント向上する。
ダイアログシステムの堅牢性に関するさらなる研究を可能にするため、ノイズの多いテストデータのスイートを公開します。
関連論文リスト
- Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive
Learning [71.8876256714229]
本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。
提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2024-01-09T05:16:52Z) - Are LLMs Robust for Spoken Dialogues? [10.855403629160921]
大規模な事前学習型言語モデルでは、さまざまな下流タスクで最先端のパフォーマンスが実証されている。
タスク指向対話に関する公開データセットとベンチマークのほとんどは、書かれた会話に重点を置いている。
DSTC11テストセットにおける音声タスク指向対話におけるLLMの性能評価を行った。
論文 参考訳(メタデータ) (2024-01-04T14:36:38Z) - Sources of Noise in Dialogue and How to Deal with Them [63.02707014103651]
トレーニング対話システムは、ノイズの多いトレーニング例や予期しないユーザ入力を扱うことが多い。
その頻度にもかかわらず、現在、対話ノイズの正確な調査が欠けている。
本稿では,対話システムで発生する雑音の分類を初めて構築することによって,このギャップを解消する。
論文 参考訳(メタデータ) (2022-12-06T04:36:32Z) - Automatic Evaluation and Moderation of Open-domain Dialogue Systems [59.305712262126264]
研究者が悩む長きにわたる課題は、効果的な自動評価指標の欠如である。
本稿では, 対話システム技術チャレンジ10(DSTC10)におけるトラック5で得られたデータ, ベースライン, 結果について述べる。
論文 参考訳(メタデータ) (2021-11-03T10:08:05Z) - LDNet: Unified Listener Dependent Modeling in MOS Prediction for
Synthetic Speech [67.88748572167309]
本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。
より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
論文 参考訳(メタデータ) (2021-10-18T08:52:31Z) - "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken
Conversations [87.95711406978157]
本研究は、音声タスク指向会話における新しいベンチマークを示す。
マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。
我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
論文 参考訳(メタデータ) (2021-09-28T04:51:04Z) - Language Model as an Annotator: Exploring DialoGPT for Dialogue
Summarization [29.887562761942114]
本稿では,対話応答生成のための事前学習モデルであるDialoGPTを,教師なし対話アノテータとして開発する方法を示す。
ダイアロGPTを用いて、2つの対話要約データセット(SAMSumとAMI)に3種類の特徴をラベル付けし、事前学習モデルと非訓練モデルを用いて要約する。
論文 参考訳(メタデータ) (2021-05-26T13:50:13Z) - Robustness Testing of Language Understanding in Dialog Systems [33.30143655553583]
自然言語理解モデルの頑健性に関して総合的な評価と分析を行う。
本稿では,実世界の対話システムにおける言語理解に関連する3つの重要な側面,すなわち言語多様性,音声特性,雑音摂動について紹介する。
対話システムにおける堅牢性問題をテストするための自然摂動を近似するモデル非依存型ツールキットLAUGを提案する。
論文 参考訳(メタデータ) (2020-12-30T18:18:47Z) - Ranking Enhanced Dialogue Generation [77.8321855074999]
対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。
これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。
本稿では,ランキング拡張対話生成フレームワークを提案する。
論文 参考訳(メタデータ) (2020-08-13T01:49:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。