論文の概要: DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents

• arxiv url: http://arxiv.org/abs/2610.21561v2
• Date: Mon, 19 Oct 2026 12:57:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.312463
• Title: DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents
• Title（参考訳）: DialFork:会話エージェントの手続き的幻覚を評価するために、ファクチュアリティを超えて行く
• Abstract要約: 原文での手続き的幻覚を測定する最初のベンチマークであるDialForkを紹介する。 ダイアログフロー認識メトリクスであるFlowKLとFlowScoreを使用して、対話をコンテンツではなく、どのように展開するかを比較する。 DialForkをオープンライセンスでリリースし、コミュニティがコンテンツとともに会話プロセスを測定することを期待しています。
• 参考スコア（独自算出の注目度）: 14.655235959508644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) deployed as conversational agents are increasingly expected to follow procedural logic. While factual hallucination has received extensive attention, a different failure mode has been overlooked: procedural hallucination, in which an agent produces individually fluent and factually plausible utterances while deviating from the intended conversational process. We introduce DialFork, the first benchmark to measure this failure mode on raw dialogue text. DialFork is built by forking conformant dialogues at controlled turn positions and injecting one of four hallucination types, yielding 36,278 dialogues across 24 tasks in 12 domains; 30 human annotators validate the construction. We define three evaluation tasks that characterize procedural deviation at three granularities: how far a set of dialogues deviates from conformant ones (monitoring deployed agents), how far a single dialogue does (procedural retrieval), and at which turn a dialogue first goes off-track (real-time guardrails). For the first two, we propose dialog-flow-aware metrics, FlowKL and FlowScore, that compare dialogues by how they unfold rather than their content. At the dialogue level, FlowScore significantly outperforms all baselines across seven encoders, showing that semantic similarity is no substitute for procedural similarity. We release DialFork under open licenses at https://github.com/idiap/dialfork, hoping the community will measure conversational process alongside content.
• Abstract（参考訳）: 対話エージェントとしてデプロイされる大規模言語モデル(LLM)は、手続き論理に従うことがますます期待されている。 プロシージャ幻覚(Procedural Hallucination)とは、エージェントが意図された会話プロセスから逸脱しながら、個別に流動的で、現実的に妥当な発話を発生させる現象である。 生の対話テキストでこの障害モードを測定する最初のベンチマークであるDialForkを紹介する。 DialForkは、制御されたターン位置でコンフォーマントダイアログをフォークし、4つの幻覚タイプのうちの1つを注入することで、12のドメインで24のタスクで36,278のダイアログを生成する。 3つの粒度での手続き的逸脱を特徴付ける3つの評価タスクを定義する。1つの対話が適合しているもの(エージェントの監視)からどのくらい離れているか、単一の対話がどこまで遠いか(手続き的検索)、そして1つの対話が最初にオフトラック(リアルタイムガードレール)になるか、である。 最初の2つについて,対話型フロー認識メトリクスであるFlowKLとFlowScoreを提案する。 対話レベルでは、FlowScoreは7つのエンコーダで全てのベースラインを著しく上回り、意味的類似性は手続き的類似性の代用ではないことを示す。 DialForkはhttps://github.com/idiap/dialforkのオープンライセンスの下でリリースしています。

関連論文リスト

• X-TURING: Towards an Enhanced and Efficient Turing Test for Long-Term Dialogue Agents [56.64615470513102]
  チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すかどうかを調べる。 従来の設定では、各参加者は一度に1つのメッセージに制限される。 本稿では,textitburstダイアログパターンを用いて,元のテストを強化するtextbftextscX-Turingを提案する。
  論文  参考訳（メタデータ） (2024-08-19T09:57:28Z)
• Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation [55.043492250775294]
  本稿では,新しい対面音声対話モデルを提案する。 ユーザ入力から音声視覚音声を処理し、応答として音声視覚音声を生成する。 また,最初の大規模マルチモーダル音声対話コーパスであるMultiDialogを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T04:48:36Z)
• Dial2vec: Self-Guided Contrastive Learning of Unsupervised Dialogue Embeddings [41.79937481022846]
  教師なし対話の埋め込みを学習するタスクについて紹介する。 事前学習された単語や文の埋め込みや、事前学習された言語モデルによるエンコーディングといったトライアル的なアプローチは、実現可能であることが示されている。 本稿では,Dial2vecという自己指導型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-27T11:14:06Z)
• Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
  textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。 本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。 我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
  論文  参考訳（メタデータ） (2022-10-09T06:32:58Z)
• FlowEval: A Consensus-Based Dialogue Evaluation Framework Using Segment Act Flows [63.116280145770006]
  本稿では,音声レベルからセグメントレベルへのダイアログ行為の拡張であるセグメントアクトを提案し,大規模データセットをクラウドソースする。 セグメントアクトフローを利用するために,セグメントアクションのシーケンスを評価のために,最初のコンセンサスに基づく対話評価フレームワークであるFlowEvalを開発した。
  論文  参考訳（メタデータ） (2022-02-14T11:37:20Z)
• User Response and Sentiment Prediction for Automatic Dialogue Evaluation [69.11124655437902]
  本稿では,次のユーザ発話の感情をターンレベル評価やダイアログレベル評価に利用することを提案する。 実験により,本モデルによる音声対話データセットと音声対話データセットの両方において,既存の自動評価指標よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2021-11-16T22:19:17Z)
• We've had this conversation before: A Novel Approach to Measuring Dialog Similarity [9.218829323265371]
  ダイアログ類似性のシナリオに対する編集距離距離の新たな適応法を提案する。 提案手法は,発話意味論,会話の流れ,参加者など,さまざまな会話の側面を考慮に入れている。
  論文  参考訳（メタデータ） (2021-10-12T07:24:12Z)
• Multi-turn Response Selection using Dialogue Dependency Relations [39.99448321736736]
  マルチターン応答選択は対話エージェントを開発するために設計されたタスクである。 本稿では,対話履歴を依存関係に基づいてスレッドに変換する対話抽出アルゴリズムを提案する。 我々のモデルは、D7とDSTC8*の両方で最先端のベースラインを上回り、Ubuntu上での競合的な結果です。
  論文  参考訳（メタデータ） (2020-10-04T08:00:19Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。