論文の概要: DeMTS: Denoising Trajectories as Multivariate Time Series for Hallucination Detection in Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2608.14632v1
- Date: Fri, 24 Jul 2026 06:45:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.923596
- Title: DeMTS: Denoising Trajectories as Multivariate Time Series for Hallucination Detection in Diffusion Language Models
- Title(参考訳): DeMTS:拡散言語モデルにおける幻覚検出のための多変量時系列としての軌道決定
- Abstract要約: 拡散大言語モデル (D-LLM) はテキスト生成において有望なパラダイムとして登場してきた。
D-LLMは幻覚に弱いままであり、流動的な出力は事実的に誤った、またはサポートされていない内容を含む可能性がある。
- 参考スコア(独自算出の注目度): 59.414664850109155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion large language models (D-LLMs) have emerged as a promising paradigm for text generation. However, similar to autoregressive LLMs, D-LLMs remain vulnerable to hallucinations, where fluent outputs may contain factually incorrect or unsupported content. Although existing hallucination detection methods for D-LLMs attempt to leverage uncertainty trajectories of the denoising process to better identify hallucination signals, they typically compress the trajectories along either the temporal or token dimension, overlooking the useful information encoded in the complete two-dimensional token-step structure. Consequently, they may fail to capture hallucination-relevant patterns, such as inconsistent convergence and cross-token fault propagation, leading to suboptimal detection performance. To bridge this gap, we propose a D-LLM hallucination detection framework that formulates the Denoising trajectories as Multivariate Time Series over learnable latent variables (DeMTS for short). DeMTS employs a trajectory-preserving token-to-variable assignment module to convert token signals into stable latent variables. Based on these variables, we propose dynamic multivariate temporal modeling to progressively integrate inter-variable dependency modeling with temporal encoding for hallucination prediction. Extensive experiments on two D-LLMs backbones and three benchmarks demonstrate that DeMTS outperforms existing hallucination detection methods while maintaining strong robustness, efficiency, and cross-task transferability.
- Abstract(参考訳): 拡散大言語モデル (D-LLM) はテキスト生成において有望なパラダイムとして登場してきた。
しかし、自己回帰 LLM と同様に、D-LLM は幻覚に弱いままであり、フロートアウトプットは事実的に不正またはサポートされた内容を含む可能性がある。
既存のD-LLMの幻覚検出法は、復調過程の不確実な軌跡を利用して幻覚信号をよりよく識別しようとするが、通常は時間次元またはトークン次元に沿って軌道を圧縮し、完全な2次元のトークンステップ構造に符号化された有用な情報を見渡す。
その結果、不整合収束や横断断層伝播などの幻覚関連パターンを捉えることができず、準最適検出性能が得られる。
このギャップを埋めるために,学習可能潜伏変数(略してDeMTS)よりも多変量時系列としてDenoising trajectoriesを定式化するD-LLM幻覚検出フレームワークを提案する。
DeMTSは、トークン信号を安定な潜在変数に変換するために、トラジェクトリ保存トークンから変数への代入モジュールを使用する。
これらの変数に基づいて,動的多変量時間モデルを提案し,各変数間の依存性モデリングと時間エンコーディングを段階的に統合して幻覚予測を行う。
2つのD-LLMのバックボーンと3つのベンチマークによる大規模な実験により、DeMTSは強い堅牢性、効率、およびクロスタスクの転送性を維持しながら、既存の幻覚検出方法より優れていることが示された。
関連論文リスト
- TRE: Training-Free Hallucination Detection for Diffusion Language Models [9.622962795441852]
本稿では,D-LLMのための訓練不要幻覚検出尺度であるTREを提案する。
TREは1世代のエントロピー信号から直接幻覚リスクを推定する。
複数のD-LLMとQAデータセットに対する大規模な実験は、TREが強力な一般化可能性、効率、堅牢性を享受しながら、競争性能を達成することを示した。
論文 参考訳(メタデータ) (2026-06-29T00:47:48Z) - DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning [48.77865928715759]
拡散大言語モデル (D-LLM) は自己回帰モデルに代わる有望な代替品として登場した。
幻覚は 信頼性を損なう重要な問題です
本研究では,これらのギャップを空間的(トケンシーケンス)と時間的(デノナイジングダイナミクス)の両方の観点から橋渡しするDynHDを提案する。
論文 参考訳(メタデータ) (2026-03-17T12:40:29Z) - TraceDet: Hallucination Detection from the Decoding Trace of Diffusion Large Language Models [49.83690850047884]
D-LLMの幻覚問題は未解決のままであり、現実世界のアプリケーションでは信頼性が制限されている。
既存の幻覚検出法はAR-LLM向けに設計されており、単一ステップ生成からの信号に依存している。
本稿では,幻覚検出のためのD-LLMの中間段階を明示的に活用する新しいフレームワークであるTraceDetを提案する。
論文 参考訳(メタデータ) (2025-09-30T02:01:10Z) - Detecting Token-Level Hallucinations Using Variance Signals: A Reference-Free Approach [0.0]
大規模言語モデル(LLM)は、様々なタスクにまたがる印象的な生成能力を示したが、幻覚に弱いままである。
複数世代にわたるトークンログ確率のばらつきを利用した,参照不要なトークンレベルの幻覚検出フレームワークを提案する。
我々のアプローチは、モデルに依存しず、解釈可能であり、リアルタイムまたはポストホック分析に適している。
論文 参考訳(メタデータ) (2025-07-05T19:20:59Z) - Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。
中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。
大規模な実験ではPPADの大幅な改善が示されている。
論文 参考訳(メタデータ) (2025-05-26T14:42:35Z) - Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。
LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。
本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
論文 参考訳(メタデータ) (2025-01-03T17:56:28Z) - High-Fidelity Speech Synthesis with Minimal Supervision: All Using
Diffusion Models [56.00939852727501]
最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。
非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
論文 参考訳(メタデータ) (2023-09-27T09:27:03Z) - Contrastive predictive coding for Anomaly Detection in Multi-variate
Time Series Data [6.463941665276371]
本稿では,MVTSデータにおける異常検出に向けて,TRL-CPC(Contrastive Predictive Coding)を用いた時系列表現学習を提案する。
まず,エンコーダ,自動回帰器,非線形変換関数を共同で最適化し,MVTSデータセットの表現を効果的に学習する。
論文 参考訳(メタデータ) (2022-02-08T04:25:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。