論文の概要: Variational Masked Diffusion Models

• arxiv url: http://arxiv.org/abs/2510.23606v1
• Date: Mon, 27 Oct 2025 17:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.665994
• Title: Variational Masked Diffusion Models
• Title（参考訳）: 変分マスク付き拡散モデル
• Authors: Yichi Zhang, Alex Schwing, Zhizhen Zhao,
• Abstract要約: 変分マスク付き拡散(VMD)は、潜伏変数をマスク拡散プロセスに導入するフレームワークである。 我々はVMDが従来のマスキング拡散が捕捉できない依存関係をうまく学習できることを実証した。
• 参考スコア（独自算出の注目度）: 8.801239075625151
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion models have recently emerged as a flexible framework for discrete generative modeling. However, a key limitation of standard masked diffusion is its inability to effectively capture dependencies among tokens that are predicted concurrently, leading to degraded generation quality when dependencies among tokens are important. To explicitly model dependencies among tokens, we propose Variational Masked Diffusion (VMD), a framework that introduces latent variables into the masked diffusion process. Through controlled experiments on synthetic datasets, we demonstrate that VMD successfully learns dependencies that conventional masked diffusion fails to capture. We further validate the effectiveness of our approach on Sudoku puzzles and text datasets, where learning of dependencies among tokens improves global consistency. Across these domains, VMD enhances both generation quality and dependency awareness, highlighting the value of integrating variational inference into masked diffusion. Our code is available at: https://riccizz.github.io/VMD.
• Abstract（参考訳）: 仮面拡散モデルは、離散生成モデリングの柔軟なフレームワークとして最近登場した。 しかし、標準的なマスク拡散の重要な制限は、同時に予測されるトークン間の依存関係を効果的にキャプチャできないことである。 トークン間の依存関係を明示的にモデル化するために,マスク付き拡散プロセスに潜伏変数を導入するフレームワークである変分マスク付き拡散(VMD)を提案する。 合成データセットの制御実験を通じて,VMDが従来のマスク拡散が捕捉できない依存関係をうまく学習できることを実証した。 さらに,トークン間の依存関係の学習によってグローバルな一貫性が向上する,数独パズルやテキストデータセットに対するアプローチの有効性を検証した。 これらの領域全体で、VMDは生成品質と依存性の認識の両方を強化し、変動推論をマスク付き拡散に統合する価値を強調します。 私たちのコードは、https://riccizz.github.io/VMD.orgで利用可能です。

関連論文リスト

• Latent Discrete Diffusion Models [18.979326092796896]
  言語および他の分類データに対する離散拡散について検討する。 EmphLatent Discrete Diffusion Models (LDDM)を提案する。 i)トークンと潜伏剤の完全結合分解を行うFUJI-LDDMと(ii)シークエントを逐次分解するSEQ-LDDMの2つのインスタンスを提案する。 どちらの変種に対しても、ELBOスタイルの目的を導出し、ディファソインモデリングに適さない情報的潜伏者を学習するための設計選択について議論する。
  論文  参考訳（メタデータ） (2025-10-20T21:26:52Z)
• On Designing Diffusion Autoencoders for Efficient Generation and Representation Learning [14.707830064594056]
  拡散オートエンコーダ(DA)は、入力依存の潜在変数を使用して、拡散過程と共に表現をキャプチャする。 より良い生成モデリングは、別のクラスの拡散モデル -- 前方(ノイズ)プロセスを学ぶもの -- の第一の目標です。
  論文  参考訳（メタデータ） (2025-05-30T18:14:09Z)
• Variational Autoencoding Discrete Diffusion with Enhanced Dimensional Correlations Modeling [48.96034602889216]
  Variencoding Discrete Diffusion (VADD) は、潜在変数モデリングによる離散拡散を強化する新しいフレームワークである。 補助的認識モデルを導入することにより、VADDはトレーニングセット上の変分下界と償却推論を介して安定したトレーニングを可能にする。 2Dトイデータ、画素レベルの画像生成、テキスト生成に関する実証結果は、VADDがMDMベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-05-23T01:45:47Z)
• DiffMoE: Dynamic Token Selection for Scalable Diffusion Transformers [86.5541501589166]
  DiffMoEはバッチレベルのグローバルトークンプールで、トレーニング中に専門家がグローバルトークンの配布にアクセスできるようにする。 ImageNetベンチマークの拡散モデル間での最先端のパフォーマンスを実現する。 このアプローチの有効性は、クラス条件生成を超えて、テキスト・ツー・イメージ生成のようなより困難なタスクにも及んでいる。
  論文  参考訳（メタデータ） (2025-03-18T17:57:07Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。