論文の概要: Fast and Scalable Analytical Diffusion
- arxiv url: http://arxiv.org/abs/2602.16498v1
- Date: Wed, 18 Feb 2026 14:41:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-19 15:58:30.617255
- Title: Fast and Scalable Analytical Diffusion
- Title(参考訳): 高速かつスケーラブルな解析拡散
- Authors: Xinyi Shang, Peng Sun, Jingyu Lin, Zhiqiang Shen,
- Abstract要約: 解析的拡散モデルは、デノナイジングスコアを経験的ベイズ平均として定式化することにより、生成モデルへの数学的に透過的な経路を提供する。
標準定式化では、すべてのタイムステップでフルデータセットのスキャンを必要とし、データセットサイズと線形にスケーリングする。
我々は,データセットサイズから推論を分離するトレーニングフリーフレームワークであるDynamic Time-Aware Golden Subset Diffusion (GoldDiff)を提案する。
- 参考スコア(独自算出の注目度): 43.4234198410875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Analytical diffusion models offer a mathematically transparent path to generative modeling by formulating the denoising score as an empirical-Bayes posterior mean. However, this interpretability comes at a prohibitive cost: the standard formulation necessitates a full-dataset scan at every timestep, scaling linearly with dataset size. In this work, we present the first systematic study addressing this scalability bottleneck. We challenge the prevailing assumption that the entire training data is necessary, uncovering the phenomenon of Posterior Progressive Concentration: the effective golden support of the denoising score is not static but shrinks asymptotically from the global manifold to a local neighborhood as the signal-to-noise ratio increases. Capitalizing on this, we propose Dynamic Time-Aware Golden Subset Diffusion (GoldDiff), a training-free framework that decouples inference complexity from dataset size. Instead of static retrieval, GoldDiff uses a coarse-to-fine mechanism to dynamically pinpoint the ''Golden Subset'' for inference. Theoretically, we derive rigorous bounds guaranteeing that our sparse approximation converges to the exact score. Empirically, GoldDiff achieves a $\bf 71 \times$ speedup on AFHQ while matching or achieving even better performance than full-scan baselines. Most notably, we demonstrate the first successful scaling of analytical diffusion to ImageNet-1K, unlocking a scalable, training-free paradigm for large-scale generative modeling.
- Abstract(参考訳): 解析的拡散モデルは、デノナイジングスコアを経験的ベイズ平均として定式化することにより、生成モデルへの数学的に透過的な経路を提供する。
標準定式化は、すべての時点においてフルデータセットスキャンを必要とし、データセットサイズと線形にスケーリングする。
本稿では,このスケーラビリティのボトルネックに対処する最初の体系的研究について述べる。
信号と雑音の比が増加するにつれて、復調スコアの効果的なゴールデンサポートは静的ではないが、グローバル多様体から局所近傍へ漸近的に縮小する。
これに基づいて,データセットサイズから推論複雑性を分離するトレーニングフリーフレームワークであるDynamic Time-Aware Golden Subset Diffusion (GoldDiff)を提案する。
静的検索の代わりに、GoldDiffは粗い機構を使って推論の'Golden Subset'を動的にピンポイントする。
理論的には、スパース近似が正確なスコアに収束することを保証する厳密な境界を導出する。
実証的に、GoldDiffはAFHQで$\bf 71 \times$のスピードアップを達成し、フルスキャンベースラインよりも優れたパフォーマンスを実現している。
最も注目すべきは、ImageNet-1Kへの解析拡散のスケーリングが成功し、大規模生成モデルのためのスケーラブルでトレーニング不要なパラダイムを解放することである。
関連論文リスト
- Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。
一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。
離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
論文 参考訳(メタデータ) (2026-02-16T18:48:17Z) - Sublinear iterations can suffice even for DDPMs [20.394390032998036]
本研究では,「シフト合成規則」アルゴリズムが適切な仮定の下で良好な離散化特性を持つことを示す。
これは純粋なDDPMサンプリングに束縛された最初のサブ線形複雑性である。
また,本手法の利点を実験的に検証し,事前学習した画像合成モデルを用いて実運用で有効であることを示す。
論文 参考訳(メタデータ) (2025-11-06T22:15:19Z) - Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models [57.49136894315871]
テストタイムスケーリングの新しいパラダイムは、推論モデルと生成視覚モデルにおいて驚くべきブレークスルーをもたらした。
本稿では,テスト時間スケーリングの知識をモデルに組み込むことの課題に対する1つの解決策を提案する。
拡散モデルにおいて、初期入力ノイズを変調するノイズハイパーネットワークにより、報酬誘導試験時間雑音の最適化を行う。
論文 参考訳(メタデータ) (2025-08-13T17:33:37Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳(メタデータ) (2025-07-11T08:00:47Z) - Faster Diffusion Models via Higher-Order Approximation [28.824924809206255]
本稿では,d1+2/K varepsilon-1/K $$のスコア関数評価のみを必要とする,原則付き無トレーニングサンプリングアルゴリズムを提案する。
我々の理論はロバストなvis-a-vis不正確なスコア推定であり、スコア推定誤差が増加するにつれて優雅に劣化する。
より広範に、我々は高速サンプリングのための高次手法の有効性を理解するための理論的枠組みを開発した。
論文 参考訳(メタデータ) (2025-06-30T16:49:03Z) - Provably Robust Score-Based Diffusion Posterior Sampling for Plug-and-Play Image Reconstruction [31.503662384666274]
科学と工学において、ゴールは、ある画像のモダリティを記述する既知のフォワードモデルから収集された少数の測定値から未知の画像を推測することである。
モチベートされたスコアベース拡散モデルはその経験的成功により、画像再構成に先立って模範の印象的な候補として現れた。
論文 参考訳(メタデータ) (2024-03-25T15:58:26Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Sparse Training of Discrete Diffusion Models for Graph Generation [45.103518022696996]
SparseDiffは、ほとんど全ての大きなグラフがスパースであるという観察に基づく、新しい拡散モデルである。
エッジのサブセットを選択することで、SparseDiffは、ノイズ発生過程とノイズ発生ネットワーク内のスパースグラフ表現を効果的に活用する。
本モデルでは,小規模・大規模両方のデータセットにおいて,複数のメトリクスにわたる最先端性能を示す。
論文 参考訳(メタデータ) (2023-11-03T16:50:26Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳(メタデータ) (2023-04-07T15:17:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。