論文の概要: Lost in Diffusion: Uncovering Hallucination Patterns and Failure Modes in Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2604.10556v1
• Date: Sun, 12 Apr 2026 09:59:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.09833
• Title: Lost in Diffusion: Uncovering Hallucination Patterns and Failure Modes in Diffusion Large Language Models
• Title（参考訳）: 拡散損失:拡散大言語モデルにおける幻覚パターンと失敗モードを明らかにする
• Authors: Zhengnan Guo, Fei Tan,
• Abstract要約: 本研究は,dLLMの幻覚パターンを評価するための最初の制御された比較研究である。 以上の結果から,現在のdLLMは,建築・規模・事前学習重量に制御されるARよりも幻覚の確率が高いことが示唆された。 以上の結果から,dLLMは一般タスクにおける性能ギャップを狭めたが,その異なる幻覚機構は信頼性をモデル化する上で重要な課題であることが示された。
• 参考スコア（独自算出の注目度）: 10.020835642521897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Diffusion Large Language Models (dLLMs) have emerged as a promising non-autoregressive paradigm comparable to autoregressive (AR) models, their faithfulness, specifically regarding hallucination, remains largely underexplored. To bridge this gap, we present the first controlled comparative study to evaluate hallucination patterns in dLLMs. Our results demonstrate that current dLLMs exhibit a higher propensity for hallucination than AR counterparts controlled for architecture, scale, and pre-training weights. Furthermore, an analysis of inference-time compute reveals divergent dynamics: while quasi-autoregressive generation suffers from early saturation, non-sequential decoding unlocks potential for continuous refinement. Finally, we identify distinct failure modes unique to the diffusion process, including premature termination, incomplete denoising, and context intrusion. Our findings underscore that although dLLMs have narrowed the performance gap on general tasks, their distinct hallucination mechanisms pose a critical challenge to model reliability. Our code is available at https://github.com/ZeroLoss-Lab/Lost-in-Diffusion
• Abstract（参考訳）: Diffusion Large Language Models (dLLMs) は自己回帰(AR)モデルに匹敵する有望な非自己回帰パラダイムとして登場したが、幻覚に関する忠実さはいまだに未熟である。 このギャップを埋めるために,dLLMの幻覚パターンを評価するための最初の制御された比較研究を提案する。 以上の結果から,現在のdLLMは,建築・規模・事前学習重量に制御されるARよりも幻覚の確率が高いことが示唆された。 準自己回帰生成は早期飽和に悩まされるが、非逐次復号化は継続的洗練の可能性を解き放つ。 最後に,早期終了,不完全復調,文脈侵入など,拡散過程に特有の障害モードを同定する。 以上の結果から,dLLMは一般タスクにおける性能ギャップを狭めたが,その異なる幻覚機構は信頼性をモデル化する上で重要な課題であることが示された。 私たちのコードはhttps://github.com/ZeroLoss-Lab/Lost-in-Diffusionで利用可能です。

関連論文リスト

• Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction [49.96701537295129]
  LVLM(Large Vision-Language Models)は、モーダルなタスク間で大きな成功を収めてきたが、幻覚によって妨げられている。 既存の方法は幻覚を緩和するが、しばしば生成行動を変化させ、結果として出力が短くなり、トークンの分布がシフトする。 幻覚緩和のための制御および選択的な潜伏介入を行う効果的なプラグアンドプレイフレームワークであるMESAを提案する。
  論文  参考訳（メタデータ） (2026-04-09T07:31:27Z)
• DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning [48.77865928715759]
  拡散大言語モデル (D-LLM) は自己回帰モデルに代わる有望な代替品として登場した。 幻覚は 信頼性を損なう重要な問題です 本研究では,これらのギャップを空間的(トケンシーケンス)と時間的(デノナイジングダイナミクス)の両方の観点から橋渡しするDynHDを提案する。
  論文  参考訳（メタデータ） (2026-03-17T12:40:29Z)
• TraceDet: Hallucination Detection from the Decoding Trace of Diffusion Large Language Models [49.83690850047884]
  D-LLMの幻覚問題は未解決のままであり、現実世界のアプリケーションでは信頼性が制限されている。 既存の幻覚検出法はAR-LLM向けに設計されており、単一ステップ生成からの信号に依存している。 本稿では,幻覚検出のためのD-LLMの中間段階を明示的に活用する新しいフレームワークであるTraceDetを提案する。
  論文  参考訳（メタデータ） (2025-09-30T02:01:10Z)
• Counterfactual Probing for Hallucination Detection and Mitigation in Large Language Models [0.0]
  本研究では,大規模言語モデルにおける幻覚の検出と緩和のための新しいアプローチである,対物探索を提案する。 提案手法は, 疑わしいが微妙な事実誤りを含む反事実文を動的に生成し, これらの摂動に対するモデルの感度を評価する。
  論文  参考訳（メタデータ） (2025-08-03T17:29:48Z)
• Mitigating Object Hallucinations via Sentence-Level Early Intervention [10.642552315531404]
  マルチモーダルな大言語モデル(MLLM)は、多モーダルな理解に革命をもたらしたが、幻覚と闘い続けている。 人間のアノテーションに依存しないフレームワークであるSENTINELを提案する。 文レベルの早期iNtervention through IN- domain preference Learningは、オリジナルのモデルと比較して幻覚を90%以上減らすことができる。
  論文  参考訳（メタデータ） (2025-07-16T17:55:43Z)
• Shaking to Reveal: Perturbation-Based Detection of LLM Hallucinations [25.18901449626428]
  自己評価として知られる幻覚を検出するための広く採用されている戦略は、その答えの事実的正確さを推定するために、モデル自身の出力信頼度に依存する。 中間表現における摂動感度を解析することにより自己評価を改善する新しいフレームワークSSPを提案する。 SSPは幻覚検出ベンチマークの範囲で先行手法を著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-03T09:44:28Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• One-for-More: Continual Diffusion Model for Anomaly Detection [63.50488826645681]
  異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。 われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。 本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-27T07:47:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。