論文の概要: Bayesian Entropy-based Reordering for Calibrated Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.05125v1
• Date: Sun, 04 Oct 2026 11:13:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 23:13:27.450149
• Title: Bayesian Entropy-based Reordering for Calibrated Diffusion Language Models
• Title（参考訳）: 平衡拡散言語モデルに対するベイズエントロピーに基づく順序付け
• Abstract要約: 我々は,トークンのコミットメントを導くために予測の不確実性を利用するポストホックベイズ復号フレームワークBayesERを紹介する。 そこで,BayesERは,一般的な復号方式と比較して精度を保ちつつ,シーケンスレベルの校正誤差を低減できることを示す。
• 参考スコア（独自算出の注目度）: 1.888263220307026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Diffusion Language Models (MDLMs) generate sequences by iteratively replacing masked tokens with model predictions. At each denoising step, the decoder chooses which positions are sufficiently confident to commit. Existing decoding methods typically rely on softmax confidence, which can be miscalibrated. We introduce BayesER (BAYESian Entropy-based Reordering), a post-hoc Bayesian decoding framework that uses predictive uncertainty to guide token commitment. In BayesER, we construct a lightweight approximate posterior centered at the pretrained checkpoint, similar to Laplace-LoRA but without training LoRA adapters. We average predictions over posterior samples and use predictive entropy to prioritize reliable positions. We examine how posterior predictions affect position ordering and token selection across benchmarks spanning code generation, mathematical reasoning, planning, and molecular generation. We show that BayesER reduces sequence-level calibration error while preserving or improving accuracy relative to common decoding schemes, including confidence-threshold decoding. Additionally, a posterior fitted on one code-generation dataset reduces calibration error on another without refitting, suggesting that Bayesian uncertainty may provide a transferable signal for more reliable MDLM decoding.
• Abstract（参考訳）: Masked Diffusion Language Models (MDLM) は、マスク付きトークンをモデル予測に繰り返し置き換えることでシーケンスを生成する。 復調ステップ毎にデコーダは、コミットに十分な自信のあるポジションを選択する。 既存の復号法は一般にソフトマックスの信頼性に依存しており、誤校正が可能である。 トークンのコミットメントを導出するために予測不確実性を利用するポストホットベイズ復号フレームワークであるベイズER(BayesER:Bayesian Entropy-based Reordering)を紹介する。 また,BayesERでは,LoRAアダプタをトレーニングすることなく,Laplace-LoRAと類似した,事前訓練されたチェックポイントを中心に,軽量な近似後部構造を構築した。 後方サンプルに対する予測を平均化し、信頼性の高い位置の優先順位付けに予測エントロピーを用いる。 コード生成、数学的推論、計画、分子生成にまたがるベンチマークにおいて、後続予測が位置順序やトークンの選択にどのように影響するかを検討する。 ベイズERは、信頼閾値復号を含む一般的な復号方式と比較して、精度を保ちつつ、シーケンスレベルの校正誤差を低減できることを示す。 さらに、1つのコードジェネレーションデータセットに後装された後装は、リフィットせずに別のキャリブレーション誤差を低減し、ベイズの不確実性はより信頼性の高いMDLMデコーディングのための転送可能な信号を提供する可能性があることを示唆している。

関連論文リスト

• Conformal Prediction with Paraphrase-Aware Scoring for LLM Uncertainty Quantification [28.141040897676827]
  大規模言語モデルの不確実性定量化(UQ)は、予測信頼度を確実に測定することを目的としている。 本稿では,意味的リワードに頑健な言い換え型UQフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-03T03:01:22Z)
• A Heckler in the Hidden State: Correctness Signals in Diffusion Language Models [4.165512410177194]
  拡散モデルは、部分的にマスキングされたシーケンスを繰り返し更新することでコードを生成する。 我々は、それらの内部アクティベーションがコード正しさを符号化し、その情報が生成を改善するかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-29T05:54:31Z)
• Twist, Don't Tilt: Trajectory-Exact Constrained Decoding for Masked Diffusion Models [41.6303675143411]
  本稿では,自動制御型モンテカルロデコーダであるTWISTERを紹介した。 正規言語制約に対して、Feynman-Kac補正は正確に計算可能であることを示す。 結果のFeynman-Kacモデルが制約満足度を条件とした不偏形Doob h変換経路法を対象とすることを示す。
  論文  参考訳（メタデータ） (2026-09-28T16:54:51Z)
• PosteriorBench: From Point Estimates to Posterior Matching in Evaluating Generative Inverse Solvers [58.87583368961845]
  PosteriorBenchは、生成的逆解器の分布精度を評価するためのベンチマークである。 ダーシーフローの逆転、ポアソン源の回復、炭素捕獲と貯蔵、光輸送物質推論の4つの物理に基づく逆問題を評価する。
  論文  参考訳（メタデータ） (2026-09-17T17:54:12Z)
• CForce: Boosting Parallel Decoding for dLLMs via Consistency Forcing [30.73559220728677]
  拡散大言語モデル(dLLM)は、単一の前方通過で複数のマスクを予測することで言語生成を加速する。 既存のdLLMは、アグレッシブな並列性戦略の下で初期の認知段階において信頼性の低い予測に悩まされる。 我々は,早期のマスク予測を後段のものと一致させる蒸留法であるdLLMsの一貫性強制(CForce)を提案する。
  論文  参考訳（メタデータ） (2026-08-14T03:52:33Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Post-Hoc Split-Point Self-Consistency Verification for Efficient, Unified Quantification of Aleatoric and Epistemic Uncertainty in Deep Learning [5.996056764788456]
  不確実性定量化(UQ)は、信頼できる深層学習には不可欠であるが、既存の手法は計算集約的であるか、タスク固有の部分的な見積もりのみを提供する。 本研究では,事前訓練したモデルの変更や再訓練を伴わずに,アレタリックおよびてんかんの不確実性を共同でキャプチャするポストホック・シングルフォワード・パス・フレームワークを提案する。 提案手法は,EmphSplit-Point Analysis (SPA) を用いて,予測残差を上下サブセットに分解し,各側でEmphMean Absolute Residuals (MAR) を演算する。
  論文  参考訳（メタデータ） (2025-09-16T17:16:01Z)
• Estimating the Decoding Failure Rate of Binary Regular Codes Using Iterative Decoding [84.0257274213152]
  並列ビットフリップデコーダのDFRを高精度に推定する手法を提案する。 本研究は,本症候群のモデル化およびシミュレーションによる重み比較,第1イテレーション終了時の誤りビット分布の誤検出,復号化復号化率(DFR)について検証した。
  論文  参考訳（メタデータ） (2024-01-30T11:40:24Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。