論文の概要: Uncertainty Quantification for Large Language Diffusion Models

• arxiv url: http://arxiv.org/abs/2605.14570v1
• Date: Thu, 14 May 2026 08:39:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.728697
• Title: Uncertainty Quantification for Large Language Diffusion Models
• Title（参考訳）: 大規模言語拡散モデルの不確実性定量化
• Authors: Artem Vazhentsev, Vladislav Smirnov, David Li, Maxim Panov, Timothy Baldwin, Artem Shelmanov,
• Abstract要約: 自己回帰モデルに代わるものとして,大規模言語拡散モデル (LLDM) が登場している。 既存の不確実量化(UQ)手法は自己回帰因子化を前提とするか、高価な繰り返しサンプリングを使用する。 LLDMのUQに関する最初の体系的研究を行い、軽量ゼロショット不確実性信号を提案する。
• 参考スコア（独自算出の注目度）: 35.87984313223733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Diffusion Models (LLDMs) are emerging as an alternative to autoregressive models, offering faster inference through higher parallelism. Similar to autoregressive LLMs, they remain prone to hallucinations, making reliable uncertainty quantification (UQ) crucial for safe deployment. However, existing UQ methods are fundamentally misaligned with this new paradigm: they assume autoregressive factorization or use expensive repeated sampling, negating the efficiency of LLDMs. In this work, we present the first systematic study of UQ for LLDMs and propose lightweight, zero-shot uncertainty signals derived from the iterative denoising process, leveraging intermediate generations, token remasking dynamics, and denoising complexity. We further adapt a state-of-the-art UQ method to LLDMs by combining masked diffusion likelihoods with trajectory-based semantic dissimilarity. We prove that expected trajectory dissimilarity lower bounds the masked diffusion training objective, which motivates its usage as an uncertainty score. Comprehensive experiments across three tasks, eight datasets, and two models show that our method achieves a great cost-performance trade-off: it approaches the strongest sampling-based baselines while incurring up to 100x lower computational overhead. Our work demonstrates that LLDMs can deliver both fast inference and reliable hallucination detection simultaneously.
• Abstract（参考訳）: 大規模言語拡散モデル(LLDM)は自己回帰モデルの代替として登場し、高い並列性を通じてより高速な推論を提供する。 自己回帰型LSMと同様、幻覚の傾向が強く、安全な配備には信頼性の高い不確実性定量化(UQ)が不可欠である。 しかし、既存のUQ手法は、自己回帰的因子化を仮定するか、高価な繰り返しサンプリングを用い、LLDMの効率を低下させるという、この新しいパラダイムと基本的には一致していない。 本研究は,LLDMのUQに関する最初の体系的研究であり,中間世代を生かし,トークンのリメイキングのダイナミクスを生かし,複雑さを減らし,反復的復調過程から導かれる軽量ゼロショット不確実性信号を提案する。 我々はさらに、マスク付き拡散確率と軌道に基づく意味的相似性を組み合わせることで、最先端のUQ法をLLDMに適用する。 予測軌道の相似性は,不確実性スコアとしての利用を動機づけるマスク付き拡散訓練目標を下限とすることを示す。 3つのタスク、8つのデータセット、および2つのモデルにわたる総合的な実験により、我々の手法は高いコストパフォーマンスのトレードオフを達成し、最も高いサンプリングベースラインにアプローチし、計算オーバーヘッドを最大100倍まで削減する。 我々の研究はLLDMが高速な推測と信頼性の高い幻覚検出の両方を同時に実現することを示した。

関連論文リスト

• Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages [7.728607011076579]
  強化学習は、自己回帰言語モデル(AR)の訓練後において有効であるが、これらの手法を拡散言語モデル(DLM)に拡張することは、難易度が高いため困難である。 拡散に基づくシーケンス生成を有限水平マルコフ決定過程としてデノベーション軌道上で定式化し、正確な偏りのない政策勾配を導出する。 コーディングと論理的推論ベンチマークの実験は、数学的推論に強い競争性能を持つ最先端の結果を示している。
  論文  参考訳（メタデータ） (2026-03-13T01:38:44Z)
• MRO: Enhancing Reasoning in Diffusion Language Models via Multi-Reward Optimization [66.82303841930752]
  拡散言語モデル (DLMs) は従来の自己回帰型大規模言語モデル (LLMs) に代わる有望な選択肢を提供する。 DLMは、特にデノナイジングステップの数が減少するにつれて、LLMよりも遅れている。 本稿では,マルチリワード最適化 (MRO) 手法を提案する。
  論文  参考訳（メタデータ） (2025-10-24T13:57:59Z)
• Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
  本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。 異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。 我々は最先端のPTQ手法を実装し、包括的な評価を行う。
  論文  参考訳（メタデータ） (2025-08-20T17:59:51Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion [22.207275433870937]
  拡散言語モデルは並列トークン生成と本質的に双方向性を提供する。 最先端拡散モデル(ドリーム7B、LLaDA 8Bなど)は推論が遅い。 我々は,トークンアンマキングを監督するために,軽量な事前学習型自己回帰モデルを用いた学習自由度法であるガイドド拡散を導入する。
  論文  参考訳（メタデータ） (2025-05-27T17:39:39Z)
• d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning [31.531278643184656]
  最近の大規模言語モデル(LLM)は、オンライン強化学習(RL)の恩恵を受ける強力な推論能力を示している。 教師付きファインタニング(SFT)とRLの組み合わせにより,事前学習したマスク付きdLLMを推論モデルに適応するフレームワークであるd1を提案する。 d1は最高の性能を示し、最先端のdLLMの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-16T16:08:45Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。