論文の概要: Entropy-Based Dimension-Free Convergence and Loss-Adaptive Schedules for Diffusion Models

• arxiv url: http://arxiv.org/abs/2601.21943v1
• Date: Thu, 29 Jan 2026 16:28:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.990746
• Title: Entropy-Based Dimension-Free Convergence and Loss-Adaptive Schedules for Diffusion Models
• Title（参考訳）: 拡散モデルに対するエントロピーに基づく次元自由収束と損失適応型スケジューリング
• Authors: Ahmad Aghapour, Erhan Bayraktar, Ziqing Zhang,
• Abstract要約: 学習スコア(またはデノイザー)によって駆動される逆時間ダイナミクスを離散化することで拡散生成モデルがサンプルを合成する 我々は、幾何学的仮定を避けるために、次元自由収束に対する情報理論的アプローチを開発する。 また、逆SDEの効率的な離散化のための損失適応スケジュール(LAS)を提案し、これは軽量であり、訓練損失のみに依存している。
• 参考スコア（独自算出の注目度）: 3.2091923314854416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion generative models synthesize samples by discretizing reverse-time dynamics driven by a learned score (or denoiser). Existing convergence analyses of diffusion models typically scale at least linearly with the ambient dimension, and sharper rates often depend on intrinsic-dimension assumptions or other geometric restrictions on the target distribution. We develop an alternative, information-theoretic approach to dimension-free convergence that avoids any geometric assumptions. Under mild assumptions on the target distribution, we bound KL divergence between the target and generated distributions by $O(H^2/K)$ (up to endpoint factors), where $H$ is the Shannon entropy and $K$ is the number of sampling steps. Moreover, using a reformulation of the KL divergence, we propose a Loss-Adaptive Schedule (LAS) for efficient discretization of reverse SDE which is lightweight and relies only on the training loss, requiring no post-training heavy computation. Empirically, LAS improves sampling quality over common heuristic schedules.
• Abstract（参考訳）: 拡散生成モデルは、学習されたスコア(またはデノイザー)によって駆動される逆時間ダイナミクスを識別することでサンプルを合成する。 既存の拡散モデルの収束解析は、通常、周囲次元と少なくとも線形にスケールし、よりシャープな速度は、しばしば本質的な次元の仮定や、ターゲット分布に対するその他の幾何学的な制限に依存する。 我々は、幾何的な仮定を避けた次元自由収束に対する代替的な情報理論的アプローチを開発する。 ターゲット分布の軽度な仮定の下では、ターゲットと生成された分布間のKL分散を$O(H^2/K)$(エンドポイント因子まで)で制限し、$H$はシャノンエントロピー、$K$はサンプリングステップの数である。 さらに、KL分散の再構成を用いて、トレーニング後の重計算を必要とせず、トレーニング損失のみに依存した逆SDEの効率的な離散化のためのロス適応スケジュール(LAS)を提案する。 経験的に、LASは一般的なヒューリスティックスケジュールよりもサンプリング品質を改善する。

関連論文リスト

• An Elementary Approach to Scheduling in Generative Diffusion Models [55.171367482496755]
  生成拡散モデルにおけるノイズスケジューリングと時間離散化の影響を特徴付けるための基礎的手法を開発した。 異なるデータセットと事前訓練されたモデルにわたる実験により、我々のアプローチによって選択された時間離散化戦略が、ベースラインとサーチベースの戦略を一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-01-20T05:06:26Z)
• Adaptive Symmetrization of the KL Divergence [10.632997610787207]
  機械学習における多くのタスクは、有限個のサンプル集合が与えられた確率分布を学習するために記述または縮小することができる。 一般的なアプローチは、(経験的)データ分布とパラメータ化された分布(例えば、正規化フロー(NF)やエネルギーベースモデル(EBM)との統計的分岐を最小化することである。
  論文  参考訳（メタデータ） (2025-11-14T10:41:59Z)
• Generative Latent Neural PDE Solver using Flow Matching [8.397730500554047]
  低次元の潜伏空間にPDE状態を埋め込んだPDEシミュレーションのための潜伏拡散モデルを提案する。 我々のフレームワークは、オートエンコーダを使用して、異なるタイプのメッシュを統一された構造化潜在グリッドにマッピングし、複雑なジオメトリをキャプチャします。 数値実験により,提案モデルは,精度と長期安定性の両方において,決定論的ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-28T16:44:28Z)
• Low-dimensional adaptation of diffusion models: Convergence in total variation [13.218641525691195]
  拡散生成モデルが(未知の)低次元構造をどのように活用してサンプリングを高速化するかを検討する。 本研究はDDIM型試料試料の未知の低次元構造への適応性を示す最初の厳密な証拠である。
  論文  参考訳（メタデータ） (2025-01-22T16:12:33Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• O(d/T) Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
  最小の仮定の下で,拡散確率モデル(DDPM)の高速収束理論を確立する。 収束率は$O(k/T)$に改善され、$k$は対象データ分布の内在次元であることを示す。 これはDDPMが未知の低次元構造に自動的に適応する能力を強調している。
  論文  参考訳（メタデータ） (2024-09-27T17:59:10Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。