論文の概要: CoPrUS: Consistency Preserving Utterance Synthesis towards more realistic benchmark dialogues

• arxiv url: http://arxiv.org/abs/2412.07515v1
• Date: Tue, 10 Dec 2024 13:51:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:37:39.764994
• Title: CoPrUS: Consistency Preserving Utterance Synthesis towards more realistic benchmark dialogues
• Title（参考訳）: CoPrUS: より現実的なベンチマーク対話に向けた発話合成の一貫性保存
• Authors: Sebastian Steindl, Ulrich Schäfer, Bernd Ludwig,
• Abstract要約: 自動パイプラインにおける合成通信エラーの生成について検討する。 実世界の対話では起こりうるが、ベンチマークデータセットでは表現できない3種類のコミュニケーションに焦点をあてる。 我々の2段階のアプローチは、最先端のLarge Language Model (LLM) を使用して、まずエラーを生成し、次に補修発話を作成します。
• 参考スコア（独自算出の注目度）: 0.27309692684728604
• License:
• Abstract: Large-scale Wizard-Of-Oz dialogue datasets have enabled the training of deep learning-based dialogue systems. While they are successful as benchmark datasets, they lack certain types of utterances, which would make them more realistic. In this work, we investigate the creation of synthetic communication errors in an automatic pipeline. Based on linguistic theory, we propose and follow a simple error taxonomy. We focus on three types of miscommunications that could happen in real-world dialogues but are underrepresented in the benchmark dataset: misunderstandings, non-understandings and vaguely related questions. Our two-step approach uses a state-of-the-art Large Language Model (LLM) to first create the error and secondly the repairing utterance. We perform Language Model-based evaluation to ensure the quality of the generated utterances. We apply the method to the MultiWOZ dataset and evaluate it both qualitatively and empirically as well as with human judges. Our results indicate that current LLMs can aid in adding post-hoc miscommunications to benchmark datasets as a form of data augmentation. We publish the resulting dataset, in which nearly 1900 dialogues have been modified, as CoPrUS-MultiWOZ to facilitate future work on dialogue systems.
• Abstract（参考訳）: 大規模Wizard-Of-Oz対話データセットは、ディープラーニングベースの対話システムのトレーニングを可能にした。 ベンチマークデータセットとして成功したが、ある種の発話がないため、より現実的になる。 本研究では,自動パイプラインにおける合成通信エラーの発生について検討する。 言語理論に基づき、簡単な誤り分類法を提案し、従う。 私たちは、現実世界の対話で起こりうるが、ベンチマークデータセットでは、誤解、非理解、曖昧に関連する質問の3つのタイプに焦点を合わせています。 我々の2段階のアプローチは、最先端のLarge Language Model (LLM) を使用して、まずエラーを生成し、次に補修発話を作成します。 生成した発話の品質を確保するために,言語モデルに基づく評価を行う。 本手法をMultiWOZデータセットに適用し,定性的にも経験的にも人間の判断とともに評価する。 以上の結果から,現在のLCMは,データ拡張の一形態として,ベンチマークデータセットにポストホック通信の誤通信を追加するのに役立つことが示唆された。 結果として得られたデータセットを公開し、1900近い対話をCoPrUS-MultiWOZとして、対話システムにおける今後の作業を容易にする。

関連論文リスト

• Are LLMs Robust for Spoken Dialogues? [10.855403629160921]
  大規模な事前学習型言語モデルでは、さまざまな下流タスクで最先端のパフォーマンスが実証されている。 タスク指向対話に関する公開データセットとベンチマークのほとんどは、書かれた会話に重点を置いている。 DSTC11テストセットにおける音声タスク指向対話におけるLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2024-01-04T14:36:38Z)
• Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding [103.94325597273316]
  本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。 我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。 特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2022-10-25T17:01:30Z)
• Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
  後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。 本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
  論文  参考訳（メタデータ） (2022-10-10T05:51:40Z)
• Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
  textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。 本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。 我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
  論文  参考訳（メタデータ） (2022-10-09T06:32:58Z)
• A Model-Agnostic Data Manipulation Method for Persona-based Dialogue Generation [107.82729587882397]
  現在のペルソナベースの対話データセットのスケールアップには費用がかかる。 このタスクの各データサンプルは、従来の対話データよりも複雑である。 本稿では,ペルソナをベースとした対話生成モデルにおいて,モデルに依存しないデータ操作手法を提案する。
  論文  参考訳（メタデータ） (2022-04-21T03:49:54Z)
• Quick Starting Dialog Systems with Paraphrase Generation [0.0]
  本稿では,既存の事例からより多くのデータを人工的に生成することで,対話エージェント作成のコストと労力を削減する手法を提案する。 提案手法は,人間の努力がほとんどないダイアログシステムを起動し,実際のエンドユーザーとの対話を可能にするのに十分なレベルの性能を実現する。
  論文  参考訳（メタデータ） (2022-04-06T02:35:59Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• Contextual Semantic Parsing for Multilingual Task-Oriented Dialogues [7.8378818005171125]
  1つの言語で大規模な対話データセットをセットすると、機械翻訳を用いて他の言語に対して効果的な意味を自動生成できる。 本稿では、スロット値の忠実な翻訳を保証するために、アライメント付き対話データセットの自動翻訳を提案する。 簡潔な表現が翻訳誤りの複合効果を減少させることを示す。
  論文  参考訳（メタデータ） (2021-11-04T01:08:14Z)
• Data-Efficient Methods for Dialogue Systems [4.061135251278187]
  会話型ユーザインタフェース(CUI)は、SiriやAlexaといったコンシューマにフォーカスした製品において、日常的に広く普及している。 ディープラーニングは、対話システムにおける最近のブレークスルーの根底にあるが、専門家によって注釈付けされることが多い、非常に大量のトレーニングデータを必要とする。 本稿では,最小限のデータから頑健な対話システムを訓練するための一連の手法を紹介する。
  論文  参考訳（メタデータ） (2020-12-05T02:51:09Z)
• Ranking Enhanced Dialogue Generation [77.8321855074999]
  対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。 これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。 本稿では,ランキング拡張対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T01:49:56Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。