論文の概要: Simplex Diffusion Models
- arxiv url: http://arxiv.org/abs/2609.35553v1
- Date: Mon, 28 Sep 2026 16:26:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 20:50:52.629893
- Title: Simplex Diffusion Models
- Title（参考訳）: 単純拡散モデル
- Abstract要約: 本稿では,拡散過程を確率的単純度に引き上げて,カテゴリに対する信念を表現する枠組みを提案する。
SDMは単純度上のサンプルで動作するため、デノナイジングステップをまたいで不確実性を持ち、情報の崩壊を軽減できる。
- 参考スコア（独自算出の注目度）: 70.25963134099172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models have revolutionized generative modeling for continuous data through the gradual refinement of a belief state. This iterative refinement has not yet carried over to discrete diffusion models, which discard uncertainty at intermediate steps through categorical sampling (information collapse). We propose Simplex Diffusion Models (SDMs), a framework that lifts the diffusion process to the probability simplex to represent beliefs over categories. SDMs admit probability paths with closed-form reverse transitions and can be trained with a simple cross-entropy loss. Contrary to earlier proposals such as Dirichlet Flow Matching which requires integrating an ordinary differential equation, we introduce a DDIM-like sampler with a tunable level of stochasticity. Because SDMs operate on samples on the simplex, they can carry uncertainty across denoising steps, which mitigates information collapse. On OpenWebText, SDMs are competitive with strong Discrete Diffusion baselines, achieving $17.0$ GenPPL at $5.46$ unigram entropy in 64 sampling steps, close to real validation data. Even without Self-Conditioning (SC), SDMs outperform masked and uniform diffusion (with SC or predictor-corrector sampling) on code generation (TinyGSM, $T=0.1$; $49.0\%$ vs. $45.8\%$). Distilled down to 8 steps, SDMs solve $32.1\%$ of GSM8K problems, more than distilled Discrete Diffusion models with 128 steps ($21.4\%$).
- Abstract（参考訳）: 拡散モデルは、信念状態の段階的洗練を通じて連続データの生成モデルに革命をもたらした。
この反復的改良は、分類的サンプリング(情報崩壊)を通じて中間段階の不確実性を捨てる離散拡散モデルにはまだ受け継がれていない。
本稿では,SDM(Simplex Diffusion Models)を提案する。
SDMは閉形式逆遷移を持つ確率パスを認め、単純なクロスエントロピー損失で訓練することができる。
通常の微分方程式の統合を必要とするディリクレフローマッチング(Dirichlet Flow Matching)のような従来の提案とは対照的に,確率性の調整可能なDDIMライクなサンプリング手法を導入する。
SDMは単純度上のサンプルで動作するため、デノナイジングステップをまたいで不確実性を持ち、情報の崩壊を軽減できる。
OpenWebTextでは、SDMは強力な離散拡散ベースラインと競合しており、実際の検証データに近い64ステップで17.0ドルのGenPPLを5.46ドルのユニグラムエントロピーで達成している。
自己整合性(SC)がなくても、SDMはコード生成(TinyGSM, $T=0.1$; $49.0\%$ vs. 4,5.8\%$)においてマスクや均一拡散(SCや予測コレクタサンプリング)より優れています。
SDMは8ステップに減らされ、GSM8Kの32.1\%の問題を128ステップ(21.4\%)で蒸留した離散拡散モデルよりも解決した。
関連論文リスト
- Distillation of Discrete Diffusion by Exact Conditional Distribution Matching [9.460409527892345]
本稿では, 空調分布マッチングに基づく簡易かつ原理的な蒸留法を提案する。
我々は,この構造を利用して,事前学習した教師と低NFE学生の条件分布を直接一致させる蒸留目標を定義する。
論文 参考訳（メタデータ） (2025-12-15T00:16:10Z) - Unleashing the Power of One-Step Diffusion based Image Super-Resolution via a Large-Scale Diffusion Discriminator [81.81748032199813]
拡散モデルは実世界の超解像(Real-ISR)に優れた性能を示した
SRのための大規模textbfDiscriminator を用いた One-Step textbfDiffusion モデルを提案する。
我々の判別器は、潜伏空間における拡散モデルの任意の時間ステップからノイズのある特徴を抽出することができる。
論文 参考訳（メタデータ） (2024-10-05T16:41:36Z) - A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
拡散型サンプリング器の非漸近収束理論を開発する。
我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。
我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
論文 参考訳（メタデータ） (2024-08-05T09:02:24Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。
DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。
拡散モデル(PNDM)の擬似数値法を提案する。
PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
論文 参考訳（メタデータ） (2022-02-20T10:37:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。