論文の概要: Evaluating Task-Oriented Dialogue Consistency through Constraint Satisfaction

• arxiv url: http://arxiv.org/abs/2407.11857v1
• Date: Tue, 16 Jul 2024 15:38:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 14:03:36.691061
• Title: Evaluating Task-Oriented Dialogue Consistency through Constraint Satisfaction
• Title（参考訳）: 制約満足度によるタスク指向対話一貫性の評価
• Authors: Tiziano Labruna, Bernardo Magnini,
• Abstract要約: 制約満足度問題(CSP)としての対話整合性の概念化を提案する。 我々は,LLMで再語彙化された対話における不整合を検出するために,CSPソルバを利用する。 我々は、CSPがコンポーネントパイプラインに基づくアプローチでは考慮されていない対話一貫性のコア特性を捉えていると論じる。
• 参考スコア（独自算出の注目度）: 1.4272411349249625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task-oriented dialogues must maintain consistency both within the dialogue itself, ensuring logical coherence across turns, and with the conversational domain, accurately reflecting external knowledge. We propose to conceptualize dialogue consistency as a Constraint Satisfaction Problem (CSP), wherein variables represent segments of the dialogue referencing the conversational domain, and constraints among variables reflect dialogue properties, including linguistic, conversational, and domain-based aspects. To demonstrate the feasibility of the approach, we utilize a CSP solver to detect inconsistencies in dialogues re-lexicalized by an LLM. Our findings indicate that: (i) CSP is effective to detect dialogue inconsistencies; and (ii) consistent dialogue re-lexicalization is challenging for state-of-the-art LLMs, achieving only a 0.15 accuracy rate when compared to a CSP solver. Furthermore, through an ablation study, we reveal that constraints derived from domain knowledge pose the greatest difficulty in being respected. We argue that CSP captures core properties of dialogue consistency that have been poorly considered by approaches based on component pipelines.
• Abstract（参考訳）: タスク指向対話は、対話自体内での一貫性を維持し、ターン間の論理的一貫性を確保し、外部の知識を正確に反映して会話領域との整合性を確保する必要がある。 本稿では,会話領域を参照する対話のセグメントを変数が表現し,言語的・会話的・ドメイン的側面を含む対話特性を変数間の制約で反映する,制約満足度問題(CSP)として,対話の一貫性を概念化する。 提案手法の有効性を示すために,LLMで再辞書化した対話における不整合を検出するために,CSPソルバを用いた。 私たちの発見は以下のとおりである。 i)CSPは、対話の不整合を検出するのに有効であり、 (II)一貫した対話再語彙化は最先端のLLMでは困難であり、CSPソルバと比較して0.15の精度しか達成できない。 さらに、アブレーション研究により、ドメイン知識に由来する制約が、尊敬される上で最大の困難をもたらすことが明らかとなった。 我々は、CSPがコンポーネントパイプラインに基づくアプローチでは考慮されていない対話一貫性のコア特性を捉えていると論じる。

関連論文リスト

• Context Does Matter: Implications for Crowdsourced Evaluation Labels in Task-Oriented Dialogue Systems [57.16442740983528]
  クラウドソースラベルは、タスク指向の対話システムを評価する上で重要な役割を果たす。 従来の研究では、アノテーションプロセスで対話コンテキストの一部だけを使用することが提案されている。 本研究では,対話文脈がアノテーション品質に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-04-15T17:56:39Z)
• Inconsistent dialogue responses and how to recover from them [45.933921383946576]
  チャットシステムにとって重要な問題のひとつは、自分自身の好み、意見、信念、事実に一貫性を維持することだ。 本研究では,チャットシステムの発話整合性を評価する手法について検討する。
  論文  参考訳（メタデータ） (2024-01-18T19:46:04Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)
• Are cascade dialogue state tracking models speaking out of turn in spoken dialogues? [1.786898113631979]
  本稿では,対話状態追跡のような複雑な環境下でのアートシステムのエラーを包括的に解析する。 音声MultiWozに基づいて、音声対話システムとチャットベースの対話システムとのギャップを埋めるためには、非カテゴリースロットの値の誤差に対処することが不可欠である。
  論文  参考訳（メタデータ） (2023-11-03T08:45:22Z)
• DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings [33.89889949577356]
  本稿では,対話型コントラスト学習手法であるDialogueCSEを提案する。 我々は,Microsoft Dialogue Corpus,Jing Dong Dialogue Corpus,E-Commerce Dialogue Corpusの3つの多ターン対話データセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-09-26T13:25:41Z)
• Self-supervised Dialogue Learning for Spoken Conversational Question Answering [29.545937716796082]
  音声対話質問応答(SCQA)では、複数の会話を含む固定された音声文書を検索して分析することにより、対応する質問に対する回答を生成する。 本研究では,不整合判定,挿入検出,質問予測などの自己教師付き学習手法を導入し,コア参照の解決と対話のコヒーレンスを明確に把握する。 提案手法は,従来の事前学習言語モデルと比較して,より一貫性があり,意味があり,適切な応答を提供する。
  論文  参考訳（メタデータ） (2021-06-04T00:09:38Z)
• I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
  DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。 次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
  論文  参考訳（メタデータ） (2020-12-24T18:47:49Z)
• Is this Dialogue Coherent? Learning from Dialogue Acts and Entities [82.44143808977209]
  スイッチボード・コヒーレンス・コーパス(SWBD-Coh)コーパス(Switchboard Coherence corpus,SWBD-Coh)を作成する。 コーパスの統計的分析は、ターンコヒーレンス知覚がエンティティの分布パターンによってどのように影響を受けるかを示している。 DA情報とエンティティ情報を組み合わせたモデルでは,応答選択とターンコヒーレンス評価の両面で最高の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-17T21:02:40Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)
• Dialogue-Based Relation Extraction [53.2896545819799]
  本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。 我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。 実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
  論文  参考訳（メタデータ） (2020-04-17T03:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。