論文の概要: Improving Sampling for Masked Diffusion Models via Information Gain

• arxiv url: http://arxiv.org/abs/2602.18176v1
• Date: Fri, 20 Feb 2026 12:26:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.319434
• Title: Improving Sampling for Masked Diffusion Models via Information Gain
• Title（参考訳）: 情報ゲインによるマスケ拡散モデルのサンプリング改善
• Authors: Kaisen Yang, Jayden Teoh, Kaicheng Yang, Yitong Zhang, Alex Lamb,
• Abstract要約: Masked Diffusion Models (MDM) は自己回帰モデルよりもデコード順序の柔軟性が高い。 既存のサンプルは、通常、各ステップでデコードするために最も高い局所的確実性を持つ位置を優先順位付けするグリーディを採用する。 本稿では,情報ゲインと即時不確実性を両立させる原理的復号化フレームワークであるInfo-Gain Samplerを提案する。
• 参考スコア（独自算出の注目度）: 9.059619122219502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Diffusion Models (MDMs) offer greater flexibility in decoding order than autoregressive models but require careful planning to achieve high-quality generation. Existing samplers typically adopt greedy heuristics, prioritizing positions with the highest local certainty to decode at each step. Through failure case analysis, we identify a fundamental limitation of this approach: it neglects the downstream impact of current decoding choices on subsequent steps and fails to minimize cumulative uncertainty. In particular, these methods do not fully exploit the non-causal nature of MDMs, which enables evaluating how a decoding decision reshapes token probabilities/uncertainty across all remaining masked positions. To bridge this gap, we propose the Info-Gain Sampler, a principled decoding framework that balances immediate uncertainty with information gain over future masked tokens. Extensive evaluations across diverse architectures and tasks (reasoning, coding, creative writing, and image generation) demonstrate that Info-Gain Sampler consistently outperforms existing samplers for MDMs. For instance, it achieves a 3.6% improvement in average accuracy on reasoning tasks and a 63.1% win-rate in creative writing. Notably, on reasoning tasks it reduces cumulative uncertainty from 78.4 to 48.6, outperforming the best baseline by a large margin. The code will be available at https://github.com/yks23/Information-Gain-Sampler.
• Abstract（参考訳）: Masked Diffusion Models (MDM) は自己回帰モデルよりもデコード順序の柔軟性が高いが、高品質な生成を実現するためには慎重に計画する必要がある。 既存のサンプルは、通常、各ステップで復号するために最も高い局所的確実性を持つ位置を優先順位付けする、欲求的ヒューリスティックを採用する。 これは、現在の復号化選択がその後のステップに与える影響を無視し、累積的不確実性を最小化する。 特に、これらの手法はMDMの非因果性を完全に活用していないため、復号決定がトークンの確率/不確かさを残りの全てのマスキング位置でどのように再現するかを評価することができる。 このギャップを埋めるために,情報ゲインサンプラー (Info-Gain Sampler) を提案する。 多様なアーキテクチャやタスク(推論、コーディング、クリエイティブな書き込み、画像生成)にわたる広範囲な評価は、Info-Gain SamplerがMDMの既存のサンプルよりも一貫して優れていることを示している。 例えば、推論タスクの平均精度が3.6%向上し、クリエイティブな執筆において63.1%の勝利率を達成した。 特に推論タスクでは、累積不確かさを78.4から48.6に減らし、最高のベースラインを大きなマージンで上回る。 コードはhttps://github.com/yks23/Information-Gain-Sampler.comから入手できる。

関連論文リスト

• Learn from Your Mistakes: Self-Correcting Masked Diffusion Models [31.536464269884103]
  マスク付き拡散モデル(MDM)は自己回帰モデルに代わる有望な代替品として登場している。 本研究では、モデルにアンマキングと修正の両方を行うよう訓練するフレームワークを提案する。 トレーニングとサンプリングの手法をProSeCo(Progressive Self-Correction)と名付けました。
  論文  参考訳（メタデータ） (2026-02-12T05:17:31Z)
• Optimizing Decoding Paths in Masked Diffusion Models by Quantifying Uncertainty [16.454646094266703]
  Masked Diffusion Models (MDMs) は柔軟で非自己回帰的な生成を提供するが、この自由は挑戦をもたらす。 我々はこの問題を初めて公式化し、生成経路に沿った累積予測の不確実性に出力品質の変動をもたらす。 本研究は,MDMにおける不確実性を負債から,高品質なソリューションを発見する上での鍵となる優位性へと効果的に転換する,生成の理解と制御の原則的ツールとして,Denoising Entropyを確立した。
  論文  参考訳（メタデータ） (2025-12-24T18:59:51Z)
• PC-Sampler: Position-Aware Calibration of Decoding Bias in Masked Diffusion Models [33.98279129315148]
  マスク付き拡散モデル(MDM)は、シーケンス生成のための強力な非自己回帰的な代替手段である。 本稿では,新しいデコード戦略である位置認識信頼度校正サンプリング(PC-Sampler)を紹介する。 PC-Samplerは、既存のMDMデコード戦略を平均で10%以上上回っている。
  論文  参考訳（メタデータ） (2025-08-18T15:38:37Z)
• Towards Better Code Generation: Adaptive Decoding with Uncertainty Guidance [42.737012213197865]
  AdaDecはアダプティブなデコーディングフレームワークで、ルックアヘッドベースで不確実性を認識した停止と再実行のメカニズムを採用している。 AdaDecは、greedyデコーディングと比較して、Pass@1の精度で20.9%の絶対的なゲインを達成する。 AdaDecは、必要に応じて再ランクを適用することで、計算オーバーヘッドとレイテンシを低減し、信頼性とともに効率を向上する。
  論文  参考訳（メタデータ） (2025-06-10T16:49:46Z)
• Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
  推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。 入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。 私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
  論文  参考訳（メタデータ） (2024-03-04T16:21:54Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
  Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。 我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。 提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
  論文  参考訳（メタデータ） (2022-12-06T14:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。