論文の概要: DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning

• arxiv url: http://arxiv.org/abs/2603.16459v1
• Date: Tue, 17 Mar 2026 12:40:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.279158
• Title: DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning
• Title（参考訳）: DynHD:動的偏差学習による拡散大言語モデルの幻覚検出
• Authors: Yanyu Qian, Yue Tan, Yixin Liu, Wang Yu, Shirui Pan,
• Abstract要約: 拡散大言語モデル (D-LLM) は自己回帰モデルに代わる有望な代替品として登場した。 幻覚は 信頼性を損なう重要な問題です 本研究では,これらのギャップを空間的(トケンシーケンス)と時間的(デノナイジングダイナミクス)の両方の観点から橋渡しするDynHDを提案する。
• 参考スコア（独自算出の注目度）: 48.77865928715759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (D-LLMs) have emerged as a promising alternative to auto-regressive models due to their iterative refinement capabilities. However, hallucinations remain a critical issue that hinders their reliability. To detect hallucination responses from model outputs, token-level uncertainty (e.g., entropy) has been widely used as an effective signal to indicate potential factual errors. Nevertheless, the fixed-length generation paradigm of D-LLMs implies that tokens contribute unevenly to hallucination detection, with only a small subset providing meaningful signals. Moreover, the evolution trend of uncertainty throughout the diffusion process can also provide important signals, highlighting the necessity of modeling its denoising dynamics for hallucination detection. In this paper, we propose DynHD that bridge these gaps from both spatial (token sequence) and temporal (denoising dynamics) perspectives. To address the information density imbalance across tokens, we propose a semantic-aware evidence construction module that extracts hallucination-indicative signals by filtering out non-informative tokens and emphasizing semantically meaningful ones. To model denoising dynamics for hallucination detection, we introduce a reference evidence generator that learns the expected evolution trajectory of uncertainty evidence, along with a deviation-based hallucination detector that makes predictions by measuring the discrepancy between the observed and reference trajectories. Extensive experiments demonstrate that DynHD consistently outperforms state-of-the-art baselines while achieving higher efficiency across multiple benchmarks and backbone models.
• Abstract（参考訳）: 拡散型大規模言語モデル (D-LLM) は、その反復的洗練能力により、自動回帰モデルの代替として有望な存在である。 しかし、幻覚は依然としてその信頼性を妨げる重要な問題である。 モデル出力から幻覚応答を検出するために、トークンレベルの不確実性(例えばエントロピー)が潜在的な事実誤りを示す効果的な信号として広く利用されている。 それでも、D-LLMsの固定長生成パラダイムは、トークンが幻覚検出に不均一に寄与し、意味のある信号を提供する小さなサブセットしか持たないことを意味する。 さらに、拡散過程を通しての不確実性の進化傾向は重要なシグナルを与え、幻覚検出のための認知力学をモデル化する必要性を強調している。 本稿では,これらのギャップを空間的(Token sequence)と時間的(Denoising dynamics)の両方の観点から橋渡しするDynHDを提案する。 トークン間の情報密度の不均衡に対処するために,非表現的トークンをフィルタリングし,意味的に意味のあるトークンを強調することにより,幻覚を表す信号を抽出する意味認識エビデンス構築モジュールを提案する。 幻覚検出のための認知力学をモデル化するために,不確実性証拠の予測進化軌跡を学習する参照エビデンス生成器と,観測軌道と参照軌道の相違を計測して予測を行う偏差に基づく幻覚検出器を導入する。 大規模な実験では、DynHDは最先端のベースラインを一貫して上回り、複数のベンチマークやバックボーンモデルで高い効率を実現している。

関連論文リスト

• TDGNet: Hallucination Detection in Diffusion Language Models via Temporal Dynamic Graphs [30.313604786976715]
  拡散言語モデル (D-LLMs) は並列化と双方向のコンテキストを提供する。 D-LLMsの幻覚検出は未発見のままである。 本稿では,トークンレベルの注目グラフを進化させる学習として幻覚検出を定式化する時間動的グラフフレームワークであるTDGNetを紹介する。
  論文  参考訳（メタデータ） (2026-02-08T16:35:30Z)
• Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization [78.94590726578014]
  マルチモーダル推論モデル (Multimodal reasoning model, MLRM) は幻覚の傾向が強く, 効果的な解はいまだ未発見のままである。 textbfCompression と textbfPreference textbfOptimization を組み合わせたトレーニングベースの緩和フレームワーク C3PO を提案する。
  論文  参考訳（メタデータ） (2026-02-03T11:00:55Z)
• EDIS: Diagnosing LLM Reasoning via Entropy Dynamics [3.858418431840288]
  生成過程における信頼の時空間的進化は,集計統計単独よりも豊かな情報をもたらすことを示す。 本稿では,エントロピー進化における不安定性を定量化するための軌道レベルの指標であるエントロピーダイナミクス不安定スコア(textbfEDIS)を紹介する。
  論文  参考訳（メタデータ） (2026-02-01T15:43:50Z)
• From Detection to Diagnosis: Advancing Hallucination Analysis with Automated Data Synthesis [7.3390265169910665]
  LLM(Large Language Models)における幻覚は、重要なドメインへの信頼性の高いデプロイにおける中核的な障害である。 この限界に対処するため、新たな研究パラダイムが提案され、"検出"から"診断"へと移行した。
  論文  参考訳（メタデータ） (2025-12-31T05:06:35Z)
• TraceDet: Hallucination Detection from the Decoding Trace of Diffusion Large Language Models [49.83690850047884]
  D-LLMの幻覚問題は未解決のままであり、現実世界のアプリケーションでは信頼性が制限されている。 既存の幻覚検出法はAR-LLM向けに設計されており、単一ステップ生成からの信号に依存している。 本稿では,幻覚検出のためのD-LLMの中間段階を明示的に活用する新しいフレームワークであるTraceDetを提案する。
  論文  参考訳（メタデータ） (2025-09-30T02:01:10Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• Enhancing Hallucination Detection through Noise Injection [9.582929634879932]
  大型言語モデル(LLM)は、幻覚として知られる、もっとも不正確な応答を生成する傾向にある。 ベイズ感覚のモデル不確実性を考慮し,検出精度を著しく向上できることを示す。 サンプリング中にモデルパラメータの適切なサブセット、あるいは等価に隠されたユニットアクティベーションを摂動する、非常に単純で効率的なアプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-06T06:02:20Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• The role of noise in denoising models for anomaly detection in medical images [62.0532151156057]
  病理脳病変は脳画像に多彩な外観を示す。 正規データのみを用いた教師なし異常検出手法が提案されている。 空間分解能の最適化と雑音の大きさの最適化により,異なるモデル学習体制の性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-01-19T21:39:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。