論文の概要: Improving Dialogue Management: Quality Datasets vs Models

• arxiv url: http://arxiv.org/abs/2310.01339v2
• Date: Mon, 23 Oct 2023 17:15:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 07:09:28.254900
• Title: Improving Dialogue Management: Quality Datasets vs Models
• Title（参考訳）: 対話管理を改善する: 品質データセット対モデル
• Authors: Miguel \'Angel Medina-Ram\'irez, Cayetano Guerra-Artal, Mario Hern\'andez-Tejera
• Abstract要約: タスク指向対話システム(TODS)は,自然言語を用いて機械やコンピュータと対話する上で重要である。 主要なコンポーネントの1つは対話マネージャで、会話をユーザーにとって良いゴールへと導く。 従来,ルールベースシステム (RBS) や強化学習 (RL) ,教師あり学習 (SL) などが,適切な対話管理のためのソリューションとして提案されてきた。 この研究は、DMが最大性能を達成できない主な原因はデータセットの品質にあると主張している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task-oriented dialogue systems (TODS) have become crucial for users to interact with machines and computers using natural language. One of its key components is the dialogue manager, which guides the conversation towards a good goal for the user by providing the best possible response. Previous works have proposed rule-based systems (RBS), reinforcement learning (RL), and supervised learning (SL) as solutions for the correct dialogue management; in other words, select the best response given input by the user. However, this work argues that the leading cause of DMs not achieving maximum performance resides in the quality of the datasets rather than the models employed thus far; this means that dataset errors, like mislabeling, originate a large percentage of failures in dialogue management. We studied the main errors in the most widely used datasets, Multiwoz 2.1 and SGD, to demonstrate this hypothesis. To do this, we have designed a synthetic dialogue generator to fully control the amount and type of errors introduced in the dataset. Using this generator, we demonstrated that errors in the datasets contribute proportionally to the performance of the models
• Abstract（参考訳）: タスク指向対話システム(TODS)は,自然言語を用いて機械やコンピュータと対話する上で重要である。 その重要なコンポーネントの1つが対話マネージャで、最善の応答を提供することで、会話をユーザの良い目標に向けて導く。 従来,ルールベースシステム (RBS) や強化学習 (RL) ,教師付き学習 (SL) などが,適切な対話管理のためのソリューションとして提案されてきた。 しかし、dmsの最大の原因は、これまで採用されてきたモデルではなく、データセットの品質にある、と本研究は主張している。 この仮説を実証するために、最も広く使われているデータセットであるmultiwoz 2.1とsgdにおける主なエラーを調査した。 そこで我々は,データセットに導入されたエラー量とタイプを完全に制御する合成対話生成器を設計した。 このジェネレータを用いて、データセットの誤差がモデルの性能に比例することを示した。

関連論文リスト

• Are LLMs Robust for Spoken Dialogues? [10.855403629160921]
  大規模な事前学習型言語モデルでは、さまざまな下流タスクで最先端のパフォーマンスが実証されている。 タスク指向対話に関する公開データセットとベンチマークのほとんどは、書かれた会話に重点を置いている。 DSTC11テストセットにおける音声タスク指向対話におけるLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2024-01-04T14:36:38Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
  対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。 エージェントは対話とマニュアルの両方からタスクを学習する。 提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
  論文  参考訳（メタデータ） (2022-08-16T08:21:12Z)
• DialogZoo: Large-Scale Dialog-Oriented Task Learning [52.18193690394549]
  我々は,多種多様な対話課題を解くための統合基盤モデルの構築を目指している。 この目的を達成するために、73の公開データセットから、まず大規模なラベル付き対話データセットを収集する。
  論文  参考訳（メタデータ） (2022-05-25T11:17:16Z)
• A Model-Agnostic Data Manipulation Method for Persona-based Dialogue Generation [107.82729587882397]
  現在のペルソナベースの対話データセットのスケールアップには費用がかかる。 このタスクの各データサンプルは、従来の対話データよりも複雑である。 本稿では,ペルソナをベースとした対話生成モデルにおいて,モデルに依存しないデータ操作手法を提案する。
  論文  参考訳（メタデータ） (2022-04-21T03:49:54Z)
• Dual Task Framework for Debiasing Persona-grounded Dialogue Dataset [17.403065663306567]
  我々は、ペルソナ条件の対話エージェントを改善するために、データ中心のアプローチを導入する。 具体的には,2つのタスクの原始的双対構造を活用することで,対話データセット/エージェントを改善するための関連するペルソナを強化する。 Persona-Chat の実験により,本手法は訓練済みの LM よりも精度が 11.7 ポイント向上していることが示された。
  論文  参考訳（メタデータ） (2022-02-11T04:08:46Z)
• Actionable Conversational Quality Indicators for Improving Task-Oriented Dialog Systems [2.6094079735487994]
  本稿では、ACQI(Actionable Conversational Quality Indicator)の使用について紹介し、解説する。 ACQIは、改善可能なダイアログの一部を認識し、改善する方法を推奨するために使用される。 本稿では、商用顧客サービスアプリケーションで使用されるLivePersonの内部ダイアログシステムにおけるACQIの使用の有効性を示す。
  論文  参考訳（メタデータ） (2021-09-22T22:41:42Z)
• Integrating Pre-trained Model into Rule-based Dialogue Management [32.90885176553305]
  ルールベースの対話管理は、まだ産業用タスク指向対話システムのための最も人気のあるソリューションです。 データ駆動対話システム(通常はエンドツーエンド構造)は学術研究で人気がある。 本稿ではルールベースとデータ駆動型ダイアログマネージャの長所を活用する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-17T03:44:22Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。