論文の概要: Generalized Discrete Diffusion from Snapshots

• arxiv url: http://arxiv.org/abs/2603.21342v1
• Date: Sun, 22 Mar 2026 17:58:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.367851
• Title: Generalized Discrete Diffusion from Snapshots
• Title（参考訳）: スナップショットからの一般化離散拡散
• Abstract要約: GDDSは離散拡散モデリングのための統一的なフレームワークである。 これは大きな離散状態空間上の任意のノイズ発生プロセスをサポートする。 逆のプロセスでは、スナップショットラテントに基づいた単純なエビデンスローバウンド(ELBO)を導出する。
• 参考スコア（独自算出の注目度）: 18.212406369597662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Generalized Discrete Diffusion from Snapshots (GDDS), a unified framework for discrete diffusion modeling that supports arbitrary noising processes over large discrete state spaces. Our formulation encompasses all existing discrete diffusion approaches, while allowing significantly greater flexibility in the choice of corruption dynamics. The forward noising process relies on uniformization and enables fast arbitrary corruption. For the reverse process, we derive a simple evidence lower bound (ELBO) based on snapshot latents, instead of the entire noising path, that allows efficient training of standard generative modeling architectures with clear probabilistic interpretation. Our experiments on large-vocabulary discrete generation tasks suggest that the proposed framework outperforms existing discrete diffusion methods in terms of training efficiency and generation quality, and beats autoregressive models for the first time at this scale. We provide the code along with a blog post on the project page : \href{https://oussamazekri.fr/gdds}{https://oussamazekri.fr/gdds}.
• Abstract（参考訳）: 我々は、離散拡散モデリングのための統一フレームワークである、Snapshots (GDDS) から一般化離散拡散(Generalized Discrete Diffusion)を導入する。 我々の定式化は、既存のすべての離散拡散アプローチを包含すると同時に、汚職力学の選択における柔軟性を大幅に向上させる。 フォワードノイズ発生過程は統一化に依存し、高速な任意の汚職を可能にする。 逆のプロセスでは、単純なエビデンスローバウンド(ELBO)をスナップショットラテントに基づいて導出し、ノイズ発生経路全体ではなく、明確な確率論的解釈による標準生成モデリングアーキテクチャの効率的なトレーニングを可能にする。 大語彙離散生成タスクの実験から,提案手法は学習効率と生成品質において既存の離散拡散法よりも優れており,この規模で初めて自己回帰モデルを上回ることが示唆された。 プロジェクトページのブログ投稿とともに、コードを提供している。 \href{https://oussamazekri.fr/gdds}{https://oussamazekri.fr/gdds}。

関連論文リスト

• Consistent Diffusion Language Models [22.253153649144476]
  拡散言語モデル (DLMs) は、サブタイム、並列生成を約束するが、実用的ゲインは未解決のままである。 連続領域では、確率フローODEに沿った一貫性のトレーニングが拡散を加速する一般的なレシピである。 我々は,これらの橋を横断するパスイン予測をデノイザに訓練する新しい原理である,マルチパス離散整合性(DCMP)を導入する。 1つのCDLMの目的は、マスク拡散、連続一貫性モデル、進行/離散蒸留を1つの共通の見解の分析的限界または経験的近似として統一することである。
  論文  参考訳（メタデータ） (2026-04-30T19:31:02Z)
• Causal Autoregressive Diffusion Language Model [70.7353007255797]
  CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。 我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-29T17:38:29Z)
• Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
  離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。 階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。 提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-07T16:21:19Z)
• Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
  この記事は、一般状態空間上の拡散に関する自己完結プライマーである。 我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。 一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
  論文  参考訳（メタデータ） (2025-12-04T18:55:36Z)
• Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner [66.86440230599656]
  拡散言語モデルは必ずしも離散空間にある必要はないと主張する。 特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。 本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
  論文  参考訳（メタデータ） (2025-10-03T17:44:41Z)
• Unifying Continuous and Discrete Text Diffusion with Non-simultaneous Diffusion Processes [9.29387855908007]
  NeoDiffは、離散的アプローチと連続的アプローチの両方の長所を統合する、新しい拡散モデルである。 我々のアプローチは、テキスト生成のためのより原理的で効果的なフレームワークを提供する、離散的かつ連続的な拡散モデルの理論を統一する。
  論文  参考訳（メタデータ） (2025-05-28T09:28:52Z)
• Forward-only Diffusion Probabilistic Models [23.247850964456177]
  この研究は、生成モデリングのためのフォワードオンリー拡散(FoD)アプローチを示す。 FoDは単一の前方拡散プロセスを通じてデータ生成を直接学習し、シンプルだが効率的な生成フレームワークを生成する。 私たちのコードはhttps://github.com/Algolzw/FoD.comで公開されています。
  論文  参考訳（メタデータ） (2025-05-22T14:47:07Z)
• Constrained Discrete Diffusion [61.81569616239755]
  本稿では,拡散過程における微分可能制約最適化の新たな統合であるCDD(Constrained Discrete Diffusion)を紹介する。 CDDは直接、離散拡散サンプリングプロセスに制約を課し、トレーニング不要で効果的なアプローチをもたらす。
  論文  参考訳（メタデータ） (2025-03-12T19:48:12Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。