論文の概要: Dimension-Free Convergence of Discrete Diffusion Models: Adjoint Equations Induce the Right Space

• arxiv url: http://arxiv.org/abs/2605.17232v1
• Date: Sun, 17 May 2026 03:00:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.789117
• Title: Dimension-Free Convergence of Discrete Diffusion Models: Adjoint Equations Induce the Right Space
• Title（参考訳）: 離散拡散モデルの次元自由収束:随伴方程式による正しい空間の導出
• Authors: Kelvin Kan, Xingjian Li, Benjamin J. Zhang, Tuhin Sahai, Stanley Osher, Markos A. Katsoulakis,
• Abstract要約: 我々は、任意の積分確率計量において次元自由収束を保証する統一随伴方程式ベースのフレームワークを開発する。 私たちの境界は初めて$S$が完全に自由となり、マスク付きおよび均一な前もって適用されます。 そこで,本研究の枠組みは先行分析から脱却し,パススペースKLと既存のTVベースアプローチの欠点を回避する。
• 参考スコア（独自算出の注目度）: 6.449788692916656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion has become a leading framework for generative modeling in various applications including language, vision, and biology. Existing convergence theory, however, exhibits fundamental limitations. KL-based analyses diverge under singular priors such as the masked distribution, while bounds in total variation (TV) depend on the state space size $S$ and become vacuous for modern language tasks, where vocabularies contain hundreds of thousands of tokens. We develop a unified adjoint-equation-based framework that establishes dimension-free convergence guarantees in any integral probability metric (IPM). To the best of our knowledge, our bounds are the first to be entirely free of $S$ and applicable to both masked and uniform priors. Importantly, our theory relies only on a single standard rate-matrix regularity assumption and is compatible with time-inhomogeneous schedules. Four novel techniques drive our improvements: working in the space of observables via adjoint equations rather than directly with probability measures, a regularity analysis that yields bounds on any IPM, a coupling argument that removes $S$-dependence under uniform transitions, and a score-marginal cancellation technique that removes $S$-dependence under masked transitions. Our framework thus sharply departs from prior analyses and avoids the shortcomings of pathspace-KL and existing TV-based approaches. Beyond convergence bounds, our framework provides a versatile toolkit for further theoretical study of discrete diffusion models.
• Abstract（参考訳）: 離散拡散は、言語、視覚、生物学など様々な応用において、生成モデリングの主要なフレームワークとなっている。 しかし、既存の収束理論は基本的な限界を示す。 KLに基づく分析は、マスク分布のような特異な先行条件の下で分岐し、総変分(TV)のバウンダリは状態空間サイズ(S$)に依存し、数十万のトークンを含む現代の言語タスクでは空白となる。 我々は,任意の積分確率メートル法(IPM)において,次元自由収束を保証する統合随伴方程式に基づくフレームワークを開発する。 私たちの知識を最大限に活用するために、私たちの境界は完全に$S$で、マスク付きおよび均一な事前条件の両方に適用できる最初のものである。 重要なことは、我々の理論は単一の標準速度行列正則性仮定にのみ依存しており、時間的不均一なスケジュールと互換性がある。 4つの新しい手法により、確率測度を直接ではなく、随伴方程式による観測可能空間での作業、任意のIMM上の有界性をもたらす正則性解析、均一な遷移の下でS$依存を除去する結合論証、マスク付き遷移下でS$依存を除去するスコア・マージ的キャンセル技術、といった改良が進められた。 そこで,本研究の枠組みは先行分析から脱却し,パススペースKLと既存のTVベースアプローチの欠点を回避する。 収束境界を超えて、我々のフレームワークは離散拡散モデルのさらなる理論的研究のための多角的ツールキットを提供する。

関連論文リスト

• A Unified Framework for Data-Free One-Step Sampling via Wasserstein Gradient Flows [6.695501393837496]
  我々はWassersteinフローに基づく非正規化対象分布からデータフリーの一段階サンプリングのための統一的理論フレームワークを開発した。 標準 f-分割対象の幅広いクラスに対して、誘導速度勾配場が普遍形式 $mathbfV(x)=w(r(x)),(x)$ を受け入れることを示す。 データフリートレーニングのための実用的なLV-インスパイアされたサロゲートの動機付けとして、f-divergence family から Log-Variance (LV) divergence までフレームワークを拡張し、参照分布が結果のドリフト構造をどのように変化させるかを分析する。
  論文  参考訳（メタデータ） (2026-05-18T03:32:22Z)
• Continuous Limits of Coupled Flows in Representation Learning [13.704592299911157]
  局所的な相互作用によって駆動される分散アルゴリズムは、グローバルエラー信号の基本的な代替手段を提供する。 我々は、分散学習を緩やかな力学系として形式化し、このギャップを埋める。 我々のフレームワークは、離散アルゴリズムを連続解析でブリッジし、分散表現学習のための公式な理論ベースラインを提供する。
  論文  参考訳（メタデータ） (2026-04-18T03:19:54Z)
• Reflected diffusion models adapt to low-dimensional data [1.4273866043218157]
  本稿では、超キューブ$[0,1]D$が$d$次元線型部分空間上でサポートされている場合の反射拡散モデルの統計的解析を行う。 簡単に実装可能な遷移密度の無限級数展開を利用することで、スコア関数とその近似をスパースReLUネットワークで束縛する解析ツールを開発する。
  論文  参考訳（メタデータ） (2026-03-25T16:37:33Z)
• pADAM: A Plug-and-Play All-in-One Diffusion Architecture for Multi-Physics Learning [7.782045150068569]
  pADAMは、不均一な偏微分方程式族をまたいだ共分散確率的事前学習を行う統合生成フレームワークである。 トレーニングをすることなく、単一のアーキテクチャ内で前方予測と逆推論をサポートする。
  論文  参考訳（メタデータ） (2026-03-17T16:37:11Z)
• Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
  この記事は、一般状態空間上の拡散に関する自己完結プライマーである。 我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。 一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
  論文  参考訳（メタデータ） (2025-12-04T18:55:36Z)
• Discrete Diffusion Models: Novel Analysis and New Sampler Guarantees [70.88473359544084]
  離散拡散モデルに対する新たな解析的アプローチを導入し,正規性仮定の必要性を排除した。 標準的な$tau$-leaping法では、語彙サイズとともに線形にスケールするKL発散の収束保証を確立する。 我々のアプローチはより広く適用可能であり、他の広く使われているサンプルに対して最初の収束保証を提供する。
  論文  参考訳（メタデータ） (2025-09-20T17:42:29Z)
• Absorb and Converge: Provable Convergence Guarantee for Absorbing Discrete Diffusion Models [66.0716790920952]
  吸収率行列を用いた離散拡散モデルに対する第1次有限時間誤差境界と収束速度解析を提供する。 我々は、吸収率行列の下での$tau$-leapingと均一化サンプリングの双方に対する最初の収束保証を確立する。 適切な仮定の下では、早期に停止することなく収束保証を提供する。
  論文  参考訳（メタデータ） (2025-06-02T23:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。