論文の概要: VGB for Masked Diffusion Model: Efficient Test-time Scaling for Reward Satisfaction and Sample Editing

• arxiv url: http://arxiv.org/abs/2606.28301v1
• Date: Fri, 26 Jun 2026 17:47:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.552041
• Title: VGB for Masked Diffusion Model: Efficient Test-time Scaling for Reward Satisfaction and Sample Editing
• Title（参考訳）: マスク付き拡散モデルのためのVGB:リワード満足度とサンプル編集のための効率的なテスト時間スケーリング
• Abstract要約: Masked Diffusion Model (MDM-VGB) は、原理化された報酬誘導リマキングによるアンマスキー生成を増強する離散拡散サンプリングである。 MDM-VGBはプロセス検証ノイズに対して頑健であり、2次的複雑性を実現する一方、ベスト・オブ・N$のような一般的なテスト時間は、エラーの蓄積による指数関数的複雑性を生じさせる。
• 参考スコア（独自算出の注目度）: 20.078996384901966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference-time scaling is a promising paradigm to improve generative models, especially when outputs must satisfy structural constraints or optimize downstream rewards. We consider Masked Diffusion Model (MDM) and introduce MDM-VGB, a discrete diffusion sampler that augments unmasking generation with theoretically principled reward-guided remasking. Inspired by the recent success of the classical Jerrum-Sinclair backtracking Markov chain in reward-tilted generation, MDM-VGB extends the backtracking random walk from a fixed prefix tree to a masked-state graph, allowing tokens to be unmasked and remasked at arbitrary positions. The resulting sampler favors unmasking and remasking moves that lead to higher-value partial configurations, enabling both effective high-reward generation and efficient repair of low-reward samples. We prove that MDM-VGB is robust to process-verifier noise and achieves quadratic complexity, while popular test-time heuristics such as best-of-$N$ can incur exponential complexity due to error accumulation. Our theoretical findings are corroborated by strong empirical performance, particularly on popular constraint-satisfaction and scientific benchmarks such as Sudoku and QM9.
• Abstract（参考訳）: 推論時間スケーリングは、特に出力が構造的制約を満たすか、下流の報酬を最適化する必要がある場合、生成モデルを改善するための有望なパラダイムである。 我々は,MDM(Masked Diffusion Model)とMDM-VGB(MDM-VGB)を導入する。 古典的な Jerrum-Sinclair バックトラックの Markov チェーンの報酬型生成の成功に触発されて、MDM-VGB は固定プレフィックスツリーからマスク状態グラフへのバックトラックランダムウォークを拡張し、トークンを任意の位置にアンマスクして再マッピングする。 結果として得られたサンプルは、より価値の高い部分的な構成に繋がるアンマスキーとリマスキーの移動を好んでおり、効率的な高逆生成と低逆のサンプルの効率的な修復が可能である。 MDM-VGBはプロセス検証ノイズに対して頑健であり、2次的複雑性を実現する一方で、ベスト・オブ・N$のようなテストタイムヒューリスティックはエラー蓄積による指数関数的複雑性を生じさせる。 我々の理論的な知見は、特に人気のある制約満足度と、SudokuやQM9といった科学的ベンチマークにおいて、強い経験的性能によって裏付けられている。

関連論文リスト

• Nemotron-Labs-Diffusion-Image: Advancing Masked Discrete Diffusion for High-Resolution Image Synthesis [93.7120829382642]
  Nemotron-Labs-Diffusion-Imageは、テキスト・画像合成のための最先端のマスク付き離散拡散モデルである。 標準的なMDMには自己修正機能がない。 Nemotron-Labs-Diffusion-Imageにはトークン編集機構が組み込まれている。
  論文  参考訳（メタデータ） (2026-06-29T05:48:41Z)
• On the Trainability of Masked Diffusion Language Models via Blockwise Locality [58.92209096047332]
  マスク付き拡散言語モデル (MDMs) は、最近、標準自己回帰型大言語モデル (AR-LLMs) に代わる有望な代替品として登場した。 ブロックワイズMDMを解析し,AR-LLMと比較し,構造生成の異なる側面を強調する3つの制御タスクについて検討した。 標準ランダムマスキングMDMは線形回帰を確実に学習できず、グラフパスフィニングにおいて高分散トレーニングダイナミクスを示し、スドクではAR-LLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-27T17:44:26Z)
• Discrete Stochastic Localization for Non-autoregressive Generation [17.56505846228918]
  エンハンチングだけでMDLM/ReMDMサンプリングのステップ効率を大幅に改善できることを示す。 OpenWebTextでは、textsc fine-tuningはMDLM+ReMDMを上回り、低ステップの予算でMAUVEが大きな利益を得る。 分析の結果、自己補正と不確実性の校正が改善され、リマキングは計算効率が著しく向上した。
  論文  参考訳（メタデータ） (2026-02-18T04:05:40Z)
• Learn from Your Mistakes: Self-Correcting Masked Diffusion Models [31.536464269884103]
  マスク付き拡散モデル(MDM)は自己回帰モデルに代わる有望な代替品として登場している。 本研究では、モデルにアンマキングと修正の両方を行うよう訓練するフレームワークを提案する。 トレーニングとサンプリングの手法をProSeCo(Progressive Self-Correction)と名付けました。
  論文  参考訳（メタデータ） (2026-02-12T05:17:31Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• dUltra: Ultra-Fast Diffusion Language Models via Reinforcement Learning [36.12942468805232]
  マスク付き拡散言語モデルは並列トークン生成の可能性を秘めている。 オープンソースのMDLMは、モデルフォワードパス毎に5トークン未満をデコードする。 dUltraは効率的な並列デコーディングのためのアンマスク戦略を学ぶ。
  論文  参考訳（メタデータ） (2025-12-24T23:31:48Z)
• Learning Unmasking Policies for Diffusion Language Models [33.44995119635116]
  言語モデル(dLLM)は、多くのタスクにおいて、自己回帰的な処理の下流のパフォーマンスにマッチする。 特別なマスクトークンで満たされたバッファが、モデルの語彙からサンプリングされたトークンに徐々に置き換えられる。 本研究では,強化学習を用いたサンプリング手順の訓練を提案する。
  論文  参考訳（メタデータ） (2025-12-09T20:44:33Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Accelerated Sampling from Masked Diffusion Models via Entropy Bounded Unmasking [17.511240770486452]
  仮面拡散モデル (MDM) は, 言語モデリングにおける自己回帰モデル (ARM) と比較して, 競合性能を示した。 本稿では,Entropy bounded unmasking 手法を用いて,既存のサンプルのドロップイン置換であるEB-Samplerを紹介する。 EB-Samplerは、パフォーマンスを損なうことなく、標準的なコーディングと数学推論ベンチマークで、最先端のMDMのサンプリングを約2～3倍高速化する。
  論文  参考訳（メタデータ） (2025-05-30T17:52:55Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling [47.82616476928464]
  仮面拡散モデル (MDM) は離散データの生成モデルとして人気がある。 我々はMDMのトレーニングとサンプリングの両方が理論的に時間変数から解放されていることを示す。 一般に使用されている32ビット浮動小数点精度においても,まず基礎となる数値問題を同定した。
  論文  参考訳（メタデータ） (2024-09-04T17:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。