論文の概要: Simple Self-Conditioning Adaptation for Masked Diffusion Models

• arxiv url: http://arxiv.org/abs/2604.26985v1
• Date: Tue, 28 Apr 2026 19:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.697897
• Title: Simple Self-Conditioning Adaptation for Masked Diffusion Models
• Title（参考訳）: マスク付き拡散モデルに対する簡易自己整合適応法
• Authors: Michael Cardei, Huu Binh Ta, Ferdinando Fioretto,
• Abstract要約: 仮面拡散モデル (MDMs) は、吸収マスキング過程下で反復的復調により離散配列を生成する。 本稿では,MDMの簡易かつ効果的な後学習適応法を提案する。 SCMDM(Self-Conditioned Masked Diffusion Models)と呼ばれるこの手法は、最小限のアーキテクチャ変更を必要とする。
• 参考スコア（独自算出の注目度）: 45.533070677326805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked diffusion models (MDMs) generate discrete sequences by iterative denoising under an absorbing masking process. In standard masked diffusion, if a token remains masked after a reverse update, the model discards its clean-state prediction for that position. Thus, still-masked positions must be repeatedly inferred from the mask token alone. This design choice limits cross-step refinement. To address this limitation, this paper proposes a simple, yet effective, post-training adaptation for MDMs that conditions each denoising step on the model's own previous clean-state predictions. The resulting method, called Self-Conditioned Masked Diffusion Models (SCMDM), requires minimal architectural change, does not introduce a recurrent latent-state pathway, does not rely on an auxiliary reference model, and adds no extra denoiser evaluations during sampling. This is an important departure from partial self-conditioning approaches which requires expensive model training from scratch. In particular, the paper shows that partial self-conditioning, including the commonly used 50% dropout strategy for training self-conditioned models from scratch, is suboptimal in the post-training regime. Instead, once the model's self-generated clean-state estimates become informative, the specialization to refinement is preferable to mixing conditional and unconditional objectives. SCMDM is evaluated across multiple domains, demonstrating consistent improvement over vanilla MDM baselines, achieving nearly a 50% reduction in generative perplexity on OWT-trained models (42.89 to 23.72), alongside strong improvements in discretized image synthesis quality, small molecular generation, and enhanced fidelity in genomic distribution modeling.
• Abstract（参考訳）: 仮面拡散モデル (MDMs) は、吸収マスキング過程下で反復的復調により離散配列を生成する。 標準的なマスク拡散では、逆更新後にトークンがマスクされたままであれば、モデルはその位置に対するクリーンステートの予測を捨てる。 したがって、マスクトークンのみから、まだマスキングされた位置を繰り返し推測する必要がある。 この設計選択は、クロスステップの洗練を制限する。 この制限に対処するため,本論文では,従来のクリーンステート予測に対して,各条件を段階的に規定するMDMの簡易かつ効果的な後処理適応を提案する。 SCMDM(Self-Conditioned Masked Diffusion Models)と呼ばれるこの手法は、最小限のアーキテクチャ変更を必要とし、再帰的な潜在状態経路を導入せず、補助的な参照モデルに依存しず、サンプリング中に余分な遅延評価を加えることはない。 これは、スクラッチから高価なモデルトレーニングを必要とする部分的なセルフコンディショニングアプローチから重要な分離である。 特に, 自己条件付きモデルをスクラッチからトレーニングするための50%のドロップアウト戦略を含む部分的自己条件が, ポストトレーニング体制において最適であることを示す。 代わりに、モデルが自己生成したクリーンステートの推定値が情報化されると、洗練への特殊化は条件付きと条件なしの目的を混合することよりも好ましい。 SCMDMは、複数の領域で評価され、バニラMDMベースラインよりも一貫した改善を示し、OWT訓練モデル(42.89から23.72)における生成パープレキシティの50%近くを減少させ、識別画像合成品質、小さな分子生成、ゲノム分布モデリングにおける忠実度の向上を強く達成した。

関連論文リスト

• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling [47.82616476928464]
  仮面拡散モデル (MDM) は離散データの生成モデルとして人気がある。 我々はMDMのトレーニングとサンプリングの両方が理論的に時間変数から解放されていることを示す。 一般に使用されている32ビット浮動小数点精度においても,まず基礎となる数値問題を同定した。
  論文  参考訳（メタデータ） (2024-09-04T17:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。