論文の概要: Optimizing Decoding Paths in Masked Diffusion Models by Quantifying Uncertainty

• arxiv url: http://arxiv.org/abs/2512.21336v1
• Date: Wed, 24 Dec 2025 18:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.855845
• Title: Optimizing Decoding Paths in Masked Diffusion Models by Quantifying Uncertainty
• Title（参考訳）: 不確かさの定量化による仮設拡散モデルにおける復号経路の最適化
• Authors: Ziyu Chen, Xinbei Jiang, Peng Sun, Tao Lin,
• Abstract要約: Masked Diffusion Models (MDMs) は柔軟で非自己回帰的な生成を提供するが、この自由は挑戦をもたらす。 我々はこの問題を初めて公式化し、生成経路に沿った累積予測の不確実性に出力品質の変動をもたらす。 本研究は,MDMにおける不確実性を負債から,高品質なソリューションを発見する上での鍵となる優位性へと効果的に転換する,生成の理解と制御の原則的ツールとして,Denoising Entropyを確立した。
• 参考スコア（独自算出の注目度）: 16.454646094266703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Diffusion Models (MDMs) offer flexible, non-autoregressive generation, but this freedom introduces a challenge: final output quality is highly sensitive to the decoding order. We are the first to formalize this issue, attributing the variability in output quality to the cumulative predictive uncertainty along a generative path. To quantify this uncertainty, we introduce Denoising Entropy, a computable metric that serves as an internal signal for evaluating generative process. Leveraging this metric, we propose two algorithms designed to optimize the decoding path: a post-hoc selection method and a real-time guidance strategy. Experiments demonstrate that our entropy-guided methods significantly improve generation quality, consistently boosting accuracy on challenging reasoning, planning, and code benchmarks. Our work establishes Denoising Entropy as a principled tool for understanding and controlling generation, effectively turning the uncertainty in MDMs from a liability into a key advantage for discovering high-quality solutions.
• Abstract（参考訳）: Masked Diffusion Models (MDM) はフレキシブルで非自己回帰的な生成を提供するが、この自由度は、最終的な出力品質が復号順序に非常に敏感である、という課題をもたらす。 我々は、生成経路に沿った累積予測の不確実性に出力品質の変動をもたらす、この問題を初めて公式化した。 この不確実性を定量化するために、生成過程を評価するための内部信号として機能する計算可能な計量であるDenoising Entropyを導入する。 本手法を応用して,デコードパスを最適化するアルゴリズムとして,ポストホック選択法とリアルタイムガイダンス方式を提案する。 実験により、我々のエントロピー誘導方式は生成品質を著しく向上し、挑戦的な推論、計画、コードベンチマークの精度を一貫して向上させることが示された。 本研究は,MDMにおける不確実性を負債から,高品質なソリューションを発見する上での鍵となる優位性へと効果的に転換する,生成の理解と制御の原則的ツールとして,Denoising Entropyを確立した。

関連論文リスト

• Beyond Confidence: Adaptive and Coherent Decoding for Diffusion Language Models [64.92045568376705]
  コヒーレントコンテキストデコーディング(Coherent Contextual Decoding, CCD)は、2つのコアイノベーションに基づいて構築された新しい推論フレームワークである。 CCDは、歴史的文脈を活用してシーケンスコヒーレンスを高める軌道修正機構を採用している。 拡散ステップに基づく厳密なアロケーションの代わりに,各ステップのアンマスク予算を動的に調整する適応型サンプリング戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-26T09:49:48Z)
• Confidence-Modulated Speculative Decoding for Large Language Models [0.0]
  本稿では,信頼度変調された起草に基づく投機的復号化のための情報理論フレームワークを提案する。 機械翻訳と要約タスクの実験は、標準的な投機的復号化よりも大幅に高速化された。
  論文  参考訳（メタデータ） (2025-08-21T09:06:31Z)
• Towards Better Code Generation: Adaptive Decoding with Uncertainty Guidance [42.737012213197865]
  AdaDecはアダプティブなデコーディングフレームワークで、ルックアヘッドベースで不確実性を認識した停止と再実行のメカニズムを採用している。 AdaDecは、greedyデコーディングと比較して、Pass@1の精度で20.9%の絶対的なゲインを達成する。 AdaDecは、必要に応じて再ランクを適用することで、計算オーバーヘッドとレイテンシを低減し、信頼性とともに効率を向上する。
  論文  参考訳（メタデータ） (2025-06-10T16:49:46Z)
• Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
  LLM生成符号の正確性のプロキシとして不確実性推定を検討する。 自然言語生成からコード生成領域への2つの最先端技術を適用する。 これらの手法を用いて計算した不確実性と正確性との間には強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2025-02-17T10:03:01Z)
• Auto-Prompt Generation is Not Robust: Prompt Optimization Driven by Pseudo Gradient [50.15090865963094]
  PertBenchは、幅広い入力摂動を含む包括的なベンチマークデータセットである。 我々の分析は、既存の即時生成戦略における重大な脆弱性を明らかにしている。 PGOは、摂動型を擬似次数次信号として活用する、勾配のないプロンプト生成フレームワークである。
  論文  参考訳（メタデータ） (2024-12-24T06:05:08Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Differentially Private Deep Q-Learning for Pattern Privacy Preservation in MEC Offloading [76.0572817182483]
  攻撃者は、エッジサーバ(ES)のキュー情報とユーザの使用パターンを推測するために、オフロードの決定を盗み取ることができる。 パターンプライバシ(PP)を維持しつつ,レイテンシ,ESのエネルギー消費,タスク削減率を両立させるオフロード戦略を提案する。 そこで我々はDP-DQOアルゴリズムを開発し,PP問題にノイズを注入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T12:50:18Z)
• Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
  ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。 本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
  論文  参考訳（メタデータ） (2021-05-17T08:36:18Z)
• Distributionally Robust Bayesian Optimization [121.71766171427433]
  そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。 提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。 提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。