論文の概要: Generalized Discrete Diffusion from Snapshots
- arxiv url: http://arxiv.org/abs/2603.21342v1
- Date: Sun, 22 Mar 2026 17:58:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.367851
- Title: Generalized Discrete Diffusion from Snapshots
- Title（参考訳）: スナップショットからの一般化離散拡散
- Authors: Oussama Zekri, Théo Uscidda, Nicolas Boullé, Anna Korba,
- Abstract要約: GDDSは離散拡散モデリングのための統一的なフレームワークである。
これは大きな離散状態空間上の任意のノイズ発生プロセスをサポートする。
逆のプロセスでは、スナップショットラテントに基づいた単純なエビデンスローバウンド(ELBO)を導出する。
- 参考スコア（独自算出の注目度）: 18.212406369597662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Generalized Discrete Diffusion from Snapshots (GDDS), a unified framework for discrete diffusion modeling that supports arbitrary noising processes over large discrete state spaces. Our formulation encompasses all existing discrete diffusion approaches, while allowing significantly greater flexibility in the choice of corruption dynamics. The forward noising process relies on uniformization and enables fast arbitrary corruption. For the reverse process, we derive a simple evidence lower bound (ELBO) based on snapshot latents, instead of the entire noising path, that allows efficient training of standard generative modeling architectures with clear probabilistic interpretation. Our experiments on large-vocabulary discrete generation tasks suggest that the proposed framework outperforms existing discrete diffusion methods in terms of training efficiency and generation quality, and beats autoregressive models for the first time at this scale. We provide the code along with a blog post on the project page : \href{https://oussamazekri.fr/gdds}{https://oussamazekri.fr/gdds}.
- Abstract（参考訳）: 我々は、離散拡散モデリングのための統一フレームワークである、Snapshots (GDDS) から一般化離散拡散(Generalized Discrete Diffusion)を導入する。
我々の定式化は、既存のすべての離散拡散アプローチを包含すると同時に、汚職力学の選択における柔軟性を大幅に向上させる。
フォワードノイズ発生過程は統一化に依存し、高速な任意の汚職を可能にする。
逆のプロセスでは、単純なエビデンスローバウンド(ELBO)をスナップショットラテントに基づいて導出し、ノイズ発生経路全体ではなく、明確な確率論的解釈による標準生成モデリングアーキテクチャの効率的なトレーニングを可能にする。
大語彙離散生成タスクの実験から,提案手法は学習効率と生成品質において既存の離散拡散法よりも優れており,この規模で初めて自己回帰モデルを上回ることが示唆された。
プロジェクトページのブログ投稿とともに、コードを提供している。 \href{https://oussamazekri.fr/gdds}{https://oussamazekri.fr/gdds}。
関連論文リスト
- Causal Autoregressive Diffusion Language Model [70.7353007255797]
CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。
我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
論文 参考訳（メタデータ） (2026-01-29T17:38:29Z) - Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。
階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。
提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-01-07T16:21:19Z) - Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner [66.86440230599656]
拡散言語モデルは必ずしも離散空間にある必要はないと主張する。
特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。
本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
論文 参考訳（メタデータ） (2025-10-03T17:44:41Z) - Forward-only Diffusion Probabilistic Models [23.247850964456177]
この研究は、生成モデリングのためのフォワードオンリー拡散(FoD)アプローチを示す。
FoDは単一の前方拡散プロセスを通じてデータ生成を直接学習し、シンプルだが効率的な生成フレームワークを生成する。
私たちのコードはhttps://github.com/Algolzw/FoD.comで公開されています。
論文 参考訳（メタデータ） (2025-05-22T14:47:07Z) - Constrained Discrete Diffusion [61.81569616239755]
本稿では,拡散過程における微分可能制約最適化の新たな統合であるCDD(Constrained Discrete Diffusion)を紹介する。
CDDは直接、離散拡散サンプリングプロセスに制約を課し、トレーニング不要で効果的なアプローチをもたらす。
論文 参考訳（メタデータ） (2025-03-12T19:48:12Z) - Generalized Interpolating Discrete Diffusion [65.74168524007484]
仮面拡散はその単純さと有効性のために一般的な選択である。
ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。
GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
論文 参考訳（メタデータ） (2025-03-06T14:30:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。