論文の概要: Towards Detecting Inconsistencies in End-to-end Generated TODs
- arxiv url: http://arxiv.org/abs/2607.09338v1
- Date: Fri, 10 Jul 2026 12:19:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.837308
- Title: Towards Detecting Inconsistencies in End-to-end Generated TODs
- Title(参考訳): エンドツーエンドTODの不整合検出に向けて
- Abstract要約: 大規模言語モデル(LLM)はタスク指向対話(TOD)における矛盾を発生させる可能性がある
制約満足度問題(CSP)としてTODを概念化し,不整合を自動的に検出する手法について検討する。
対象対話における変数をまず識別し,CSPソルバを用いて有効な解を求めるパイプラインを提案する。
- 参考スコア(独自算出の注目度): 2.5343479690037896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI is profoundly transforming the core technologies behind conversational systems, shifting from component-based to end-to-end approaches. However, Large Language Models (LLMs) may still generate inconsistencies, a critical issue particularly in Task-Oriented Dialogues (TODs), where system responses must strictly adhere to information from a domain knowledge base (e.g., restaurants in a city). A single hallucination (e.g., suggesting a non-existent restaurant) can lead to severe task failures. We investigate a method for automatically detecting inconsistencies by conceptualizing TODs as a Constraint Satisfaction Problem (CSP), where variables represent dialogue segments referencing the conversational domain, and constraints among variables capture dialogue properties such as turn coherence and adherence to domain knowledge. We propose a pipeline that first identifies variables in a target dialogue and then applies a CSP solver to identify valid solutions. By comparing the target dialogue with valid variable assignments, we can detect inconsistencies and suggest minimal changes to ensure dialogue consistency. We demonstrate the high accuracy of the CSP-based approach in detecting inconsistencies, and provide a detailed analysis of our findings.
- Abstract(参考訳): 生成AIは、コンポーネントベースのアプローチからエンドツーエンドアプローチへと、会話システムの背後にある中核技術を大きく変えています。
しかし、大規模言語モデル(LLM)は、特にタスク指向対話(TOD)において重要な問題であり、システム応答はドメイン知識ベース(例えば、都市のレストラン)の情報に厳密に従わなければならない。
単一の幻覚(例えば、存在しないレストランを示唆する)は、深刻なタスク障害を引き起こす可能性がある。
本研究では,TODを制約満足度問題(Constraint Satisfaction Problem, CSP)として概念化し,会話領域を参照する対話セグメントを変数が表現し,変数間の制約がターンコヒーレンスやドメイン知識の定着といった対話特性を捉えることによって,不整合を自動的に検出する手法を検討する。
対象対話における変数をまず識別し,CSPソルバを用いて有効な解を求めるパイプラインを提案する。
対象の対話と有効な可変代入を比較することで、矛盾を検出し、対話の整合性を確保するために最小限の変更を提案することができる。
不整合の検出におけるCSPに基づくアプローチの精度を実証し,本研究の詳細な分析を行った。
関連論文リスト
- When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。
タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
論文 参考訳(メタデータ) (2025-02-21T02:24:43Z) - Evaluating Task-Oriented Dialogue Consistency through Constraint Satisfaction [1.4272411349249625]
制約満足度問題(CSP)としての対話整合性の概念化を提案する。
我々は,LLMで再語彙化された対話における不整合を検出するために,CSPソルバを利用する。
我々は、CSPがコンポーネントパイプラインに基づくアプローチでは考慮されていない対話一貫性のコア特性を捉えていると論じる。
論文 参考訳(メタデータ) (2024-07-16T15:38:41Z) - Inconsistent dialogue responses and how to recover from them [45.933921383946576]
チャットシステムにとって重要な問題のひとつは、自分自身の好み、意見、信念、事実に一貫性を維持することだ。
本研究では,チャットシステムの発話整合性を評価する手法について検討する。
論文 参考訳(メタデータ) (2024-01-18T19:46:04Z) - Are cascade dialogue state tracking models speaking out of turn in
spoken dialogues? [1.786898113631979]
本稿では,対話状態追跡のような複雑な環境下でのアートシステムのエラーを包括的に解析する。
音声MultiWozに基づいて、音声対話システムとチャットベースの対話システムとのギャップを埋めるためには、非カテゴリースロットの値の誤差に対処することが不可欠である。
論文 参考訳(メタデータ) (2023-11-03T08:45:22Z) - PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded
Dialogue Systems [59.1250765143521]
現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。
我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。
対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
論文 参考訳(メタデータ) (2023-09-19T08:27:09Z) - DiactTOD: Learning Generalizable Latent Dialogue Acts for Controllable
Task-Oriented Dialogue Systems [15.087619144902776]
本稿では,潜在空間における対話行動を表現する対話行動モデル(DiactTOD)を提案する。
大規模なコーパスで事前トレーニングを行うと、DiactTODは対話を予測し制御し、制御可能な応答を生成する。
論文 参考訳(メタデータ) (2023-08-01T23:29:16Z) - Unsupervised Dialogue Topic Segmentation with Topic-aware Utterance
Representation [51.22712675266523]
対話トピック(DTS)は、様々な対話モデリングタスクにおいて重要な役割を果たす。
本稿では,ラベルなし対話データからトピック対応発話表現を学習する,教師なしDSSフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-04T11:35:23Z) - Don't be Contradicted with Anything! CI-ToD: Towards Benchmarking
Consistency for Task-oriented Dialogue System [24.227068548489385]
本稿では,タスク指向領域において,一貫性問題はより緊急である,と論じる。
本研究では,タスク指向ダイアログシステムにおける一貫性同定のための新しいデータセットであるCI-ToDを紹介する。
実験の結果、最先端の手法は51.3%しか達成していないことが示され、これは93.2%の人間のパフォーマンスよりもはるかに遅れている。
論文 参考訳(メタデータ) (2021-09-23T10:56:31Z) - I like fish, especially dolphins: Addressing Contradictions in Dialogue
Modeling [104.09033240889106]
DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。
次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
論文 参考訳(メタデータ) (2020-12-24T18:47:49Z) - Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。
実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
論文 参考訳(メタデータ) (2020-05-27T02:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。