論文の概要: Why Masking Diffusion Works: Condition on the Jump Schedule for Improved Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2506.08316v1
• Date: Tue, 10 Jun 2025 00:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.96255
• Title: Why Masking Diffusion Works: Condition on the Jump Schedule for Improved Discrete Diffusion
• Title（参考訳）: メーキング拡散が機能する理由:離散拡散改善のためのジャンプスケジュールの条件
• Authors: Alan N. Amin, Nate Gruver, Andrew Gordon Wilson,
• Abstract要約: マルコフ過程は不連続なジャンプによって一定の速度で進化する。 他の離散拡散モデルとは異なり、マスク拡散はジャンプ時間の既知の分布に構築され、どこにジャンプするかしか学ばない。
• 参考スコア（独自算出の注目度）: 45.651372465763615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models, like continuous diffusion models, generate high-quality samples by gradually undoing noise applied to datapoints with a Markov process. Gradual generation in theory comes with many conceptual benefits; for example, inductive biases can be incorporated into the noising Markov process, and access to improved sampling algorithms. In practice, however, the consistently best performing discrete diffusion model is, surprisingly, masking diffusion, which does not denoise gradually. Here we explain the superior performance of masking diffusion by noting that it makes use of a fundamental difference between continuous and discrete Markov processes: discrete Markov processes evolve by discontinuous jumps at a fixed rate and, unlike other discrete diffusion models, masking diffusion builds in the known distribution of jump times and only learns where to jump to. We show that we can similarly bake in the known distribution of jump times into any discrete diffusion model. The resulting models - schedule-conditioned discrete diffusion (SCUD) - generalize classical discrete diffusion and masking diffusion. By applying SCUD to models with noising processes that incorporate inductive biases on images, text, and protein data, we build models that outperform masking.
• Abstract（参考訳）: 連続拡散モデルのような離散拡散モデルは、マルコフ過程でデータポイントに適用されたノイズを徐々に解き放つことによって、高品質なサンプルを生成する。 例えば、帰納的バイアスをノイズ付きマルコフプロセスに組み込むことができ、改良されたサンプリングアルゴリズムにアクセスすることができる。 しかし実際には、一貫した最良の離散拡散モデルは、驚くべきことにマスキング拡散であり、徐々に認知されることはない。 離散マルコフ過程は、不連続なジャンプによって一定の速度で進化し、他の離散拡散モデルとは異なり、マスク拡散はジャンプ時間の既知の分布に構築され、どこにジャンプするかしか学ばない。 同様に、任意の離散拡散モデルにジャンプ時間の既知の分布を焼くことができることを示す。 得られたモデル - スケジュール条件付き離散拡散(SCUD) - 古典的な離散拡散とマスキング拡散を一般化する。 画像,テキスト,タンパク質データに対する帰納バイアスを組み込んだノイズ発生過程を持つモデルにSCUDを適用することで,マスキングより優れたモデルを構築する。

関連論文リスト

• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• Continuous Diffusion Model for Language Modeling [57.396578974401734]
  離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Generative Fractional Diffusion Models [53.36835573822926]
  我々は,その基礎となる力学に分数拡散過程を利用する,最初の連続時間スコアベース生成モデルを導入する。 実画像データを用いた評価では,GFDMはFIDが低い値で示されるように,画素幅の多様性と画質の向上を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:53:24Z)
• Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
  前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。 例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2023-05-18T16:24:12Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。