論文の概要: On the Robustness of Goal Oriented Dialogue Systems to Real-world Noise

• arxiv url: http://arxiv.org/abs/2104.07149v1
• Date: Wed, 14 Apr 2021 22:14:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:17:07.293576
• Title: On the Robustness of Goal Oriented Dialogue Systems to Real-world Noise
• Title（参考訳）: ゴール指向対話システムの実環境騒音に対するロバスト性について
• Authors: Jason Krone, Sailik Sengupta, Saab Mansoor
• Abstract要約: 本研究では,雑音データに対する目標指向対話システムの堅牢性について検討する。 人間とボットの会話で見られる6つの一般的な現象のテストスイートを収集した。 これらの現象は、最先端のBERTモデルにおけるIC/SL性能を劣化させることができることを示す。
• 参考スコア（独自算出の注目度）: 1.3950131092976248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Goal oriented dialogue systems, that interact in real-word environments, often encounter noisy data. In this work, we investigate how robust goal oriented dialogue systems are to noisy data. Specifically, our analysis considers intent classification (IC) and slot labeling (SL) models that form the basis of most dialogue systems. We collect a test-suite for six common phenomena found in live human-to-bot conversations (abbreviations, casing, misspellings, morphological variants, paraphrases, and synonyms) and show that these phenomena can degrade the IC/SL performance of state-of-the-art BERT based models. Through the use of synthetic data augmentation, we are improve IC/SL model's robustness to real-world noise by +11.5 for IC and +17.3 points for SL on average across noise types. We make our suite of noisy test data public to enable further research into the robustness of dialog systems.
• Abstract（参考訳）: リアルワード環境で対話するゴール指向の対話システムは、しばしばノイズの多いデータに遭遇する。 本研究では,目標指向型対話システムの雑音データに対する頑健性について検討する。 具体的には、ほとんどの対話システムの基礎となる意図分類(IC)とスロットラベリング(SL)モデルについて考察する。 実生活における人間同士の会話で見られる6つの共通現象(省略、ケーシング、ミススペル、形態的変種、パラフレーズ、同義語)のテストスーツを収集し、これらの現象が最先端のBERTモデルにおけるIC/SL性能を低下させることができることを示す。 合成データ拡張により,実世界の雑音に対するic/slモデルのロバスト性が +11.5,slが+17.3 ポイント向上する。 ダイアログシステムの堅牢性に関するさらなる研究を可能にするため、ノイズの多いテストデータのスイートを公開します。

関連論文リスト

• WavChat: A Survey of Spoken Dialogue Models [66.82775211793547]
  GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
  論文  参考訳（メタデータ） (2024-11-15T04:16:45Z)
• SONAR: A Synthetic AI-Audio Detection Framework and Benchmark [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供することを目的としている。 従来のモデルとファンデーションベースのディープフェイク検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• DiaSynth: Synthetic Dialogue Generation Framework for Low Resource Dialogue Applications [18.378069426713]
  既存の研究は、対話システムの訓練に十分なスケールが欠けている一般またはニッチなデータセットによって制約されている。 本稿では,高品質で文脈的にリッチな対話を生成可能な合成対話生成フレームワークであるDia Synthを紹介する。 我々は,異なるLLMを用いて合成データを生成し,DialogSum とSAMSum を例に挙げて実験を行った。
  論文  参考訳（メタデータ） (2024-09-25T07:03:31Z)
• BiosERC: Integrating Biography Speakers Supported by LLMs for ERC Tasks [2.9873893715462176]
  本研究は,会話における話者特性を調査するBiosERCという新しいフレームワークを紹介する。 本研究では,Large Language Models (LLMs) を用いて,会話中の話者の「生体情報」を抽出する。 提案手法は,3つの有名なベンチマークデータセットを用いて,最先端のSOTA(State-of-the-art)結果を得た。
  論文  参考訳（メタデータ） (2024-07-05T06:25:34Z)
• Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning [71.8876256714229]
  本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。 提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-09T05:16:52Z)
• Are LLMs Robust for Spoken Dialogues? [10.855403629160921]
  大規模な事前学習型言語モデルでは、さまざまな下流タスクで最先端のパフォーマンスが実証されている。 タスク指向対話に関する公開データセットとベンチマークのほとんどは、書かれた会話に重点を置いている。 DSTC11テストセットにおける音声タスク指向対話におけるLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2024-01-04T14:36:38Z)
• Sources of Noise in Dialogue and How to Deal with Them [63.02707014103651]
  トレーニング対話システムは、ノイズの多いトレーニング例や予期しないユーザ入力を扱うことが多い。 その頻度にもかかわらず、現在、対話ノイズの正確な調査が欠けている。 本稿では,対話システムで発生する雑音の分類を初めて構築することによって,このギャップを解消する。
  論文  参考訳（メタデータ） (2022-12-06T04:36:32Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• Language Model as an Annotator: Exploring DialoGPT for Dialogue Summarization [29.887562761942114]
  本稿では,対話応答生成のための事前学習モデルであるDialoGPTを,教師なし対話アノテータとして開発する方法を示す。 ダイアロGPTを用いて、2つの対話要約データセット(SAMSumとAMI)に3種類の特徴をラベル付けし、事前学習モデルと非訓練モデルを用いて要約する。
  論文  参考訳（メタデータ） (2021-05-26T13:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。