論文の概要: Learning Generation Orders for Masked Discrete Diffusion Models via Variational Inference

• arxiv url: http://arxiv.org/abs/2602.23968v1
• Date: Fri, 27 Feb 2026 12:26:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.417747
• Title: Learning Generation Orders for Masked Discrete Diffusion Models via Variational Inference
• Title（参考訳）: 変分推論によるマスク離散拡散モデルの学習順序
• Authors: David Fox, Sam Bowyer, Song Liu, Laurence Aitchison, Raul Santos-Rodriguez, Mengyue Yang,
• Abstract要約: マスク付き離散拡散モデル(MDMs)は、生成的モデリングに対する有望な新しいアプローチである。 MDMの並列生成順序を学習するための変分推論フレームワークを提案する。 提案手法は, 平均4段階の精度で33.1%の精度を達成し, 標準競合法では23.7～29.0%の精度を同じステップ数で達成した。
• 参考スコア（独自算出の注目度）: 19.909302863724758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked discrete diffusion models (MDMs) are a promising new approach to generative modelling, offering the ability for parallel token generation and therefore greater efficiency than autoregressive counterparts. However, achieving an optimal balance between parallel generation and sample quality remains an open problem. Current approaches primarily address this issue through fixed, heuristic parallel sampling methods. There exist some recent learning based approaches to this problem, but its formulation from the perspective of variational inference remains underexplored. In this work, we propose a variational inference framework for learning parallel generation orders for MDMs. As part of our method, we propose a parameterisation for the approximate posterior of generation orders which facilitates parallelism and efficient sampling during training. Using this method, we conduct preliminary experiments on the GSM8K dataset, where our method performs competitively against heuristic sampling strategies in the regime of highly parallel generation. For example, our method achieves 33.1\% accuracy with an average of only only 4 generation steps, compared to 23.7-29.0\% accuracy achieved by standard competitor methods in the same number of steps. We believe further experiments and analysis of the method will yield valuable insights into the problem of parallel generation with MDMs.
• Abstract（参考訳）: マスク付き離散拡散モデル(MDMs)は、生成的モデリングに対する有望な新しいアプローチであり、並列トークン生成能力を提供し、したがって自己回帰的モデルよりも高い効率を提供する。 しかし、並列生成とサンプル品質の最適バランスを達成することは、未解決の問題である。 現在のアプローチは主に、固定されたヒューリスティックな並列サンプリング手法によってこの問題に対処している。 この問題に対する近年の学習に基づくアプローチはいくつか存在するが、変分推論の観点からの定式化はいまだに未解明である。 本研究では,MDMの並列生成順序を学習するための変分推論フレームワークを提案する。 提案手法では, 並列処理と学習時の効率的なサンプリングを容易にする生成順序の近似後部パラメータ化を提案する。 本手法を用いて,GSM8Kデータセットの予備実験を行い,本手法は高並列生成方式におけるヒューリスティックサンプリング戦略と競合する。 例えば,本手法は平均4段階のみの精度で33.1\%の精度を達成し,23.7-29.0\%の精度を同じステップ数で達成した。 提案手法のさらなる実験と解析により,MDMによる並列生成問題に対する貴重な知見が得られると信じている。

関連論文リスト

• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Co-GRPO: Co-Optimized Group Relative Policy Optimization for Masked Diffusion Model [74.99242687133408]
  Masked Diffusion Models (MDMs) は、視覚、言語、モーダル・ジェネレーションにまたがる有望な可能性を示している。 本稿では,MDM生成をMDP(Markov Decision Process)として再構成し,モデルと推論スケジュールを併用するCo-GRPOを提案する。
  論文  参考訳（メタデータ） (2025-12-25T12:06:04Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
  自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。 微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
  論文  参考訳（メタデータ） (2024-12-11T11:08:09Z)
• Aioli: A Unified Optimization Framework for Language Model Data Mixing [74.50480703834508]
  提案手法は, 単層サンプリングベースラインを平均的なテストパープレキシティで一貫した性能を発揮できないことを示す。 我々は、Aioliという新しいオンライン手法を導き、トレーニング全体を通して法パラメータの混合を直接推定し、それらを用いて比率を動的に調整する。
  論文  参考訳（メタデータ） (2024-11-08T17:50:24Z)
• SITCOM: Step-wise Triple-Consistent Diffusion Sampling for Inverse Problems [14.2814208019426]
  拡散モデル(英: Diffusion Model、DM)は、トレーニングセット上で学習した分布からサンプリングできる生成モデルのクラスである。 測定一貫性拡散軌道を達成するための3つの条件を述べる。 我々は,標準データ多様体測定一貫性と前方拡散一貫性を強制するだけでなく,提案したステップワイドおよびネットワーク正規化後方拡散一貫性を取り入れた新しい最適化に基づくサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-06T13:39:36Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Representation and De-interleaving of Mixtures of Hidden Markov Processes [3.7348616912887445]
  隠れマルコフ過程(HMP)の混合物の分離は、一般的にその表現モデルに依存する。 本稿では,HMPの混合物に対する新しい表現モデルとそれに対応するインターリーブ法を提案する。
  論文  参考訳（メタデータ） (2024-06-01T12:24:23Z)
• Learning Sampling Distributions for Model Predictive Control [36.82905770866734]
  モデル予測制御(MPC)に対するサンプリングに基づくアプローチは、MPCに対する現代のアプローチの基盤となっている。 我々は、学習された分布を最大限に活用できるように、潜在空間における全ての操作を実行することを提案する。 具体的には、学習問題を双方向の最適化として捉え、バックプロパゲーションスルータイムでコントローラをトレーニングする方法を示す。
  論文  参考訳（メタデータ） (2022-12-05T20:35:36Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。