論文の概要: Toward Theoretical Insights into Diffusion Trajectory Distillation via Operator Merging
- arxiv url: http://arxiv.org/abs/2505.16024v1
- Date: Wed, 21 May 2025 21:13:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 17:12:47.912483
- Title: Toward Theoretical Insights into Diffusion Trajectory Distillation via Operator Merging
- Title（参考訳）: 演算子マージによる拡散軌道蒸留に関する理論的考察
- Authors: Weiguo Gao, Ming Li,
- Abstract要約: 拡散軌道蒸留は、高品質な出力を生成するがサンプリング速度の遅い拡散モデルのサンプリングを加速することを目的としている。
信号の忠実度を最大に保存する最適なマージ戦略を計算するためのプログラミングアルゴリズムを提案する。
本研究は, 拡散軌道蒸留の理論的理解を高め, 蒸留戦略改善のための実践的洞察を提供するものである。
- 参考スコア（独自算出の注目度）: 10.315743300140966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion trajectory distillation methods aim to accelerate sampling in diffusion models, which produce high-quality outputs but suffer from slow sampling speeds. These methods train a student model to approximate the multi-step denoising process of a pretrained teacher model in a single step, enabling one-shot generation. However, theoretical insights into the trade-off between different distillation strategies and generative quality remain limited, complicating their optimization and selection. In this work, we take a first step toward addressing this gap. Specifically, we reinterpret trajectory distillation as an operator merging problem in the linear regime, where each step of the teacher model is represented as a linear operator acting on noisy data. These operators admit a clear geometric interpretation as projections and rescalings corresponding to the noise schedule. During merging, signal shrinkage occurs as a convex combination of operators, arising from both discretization and limited optimization time of the student model. We propose a dynamic programming algorithm to compute the optimal merging strategy that maximally preserves signal fidelity. Additionally, we demonstrate the existence of a sharp phase transition in the optimal strategy, governed by data covariance structures. Our findings enhance the theoretical understanding of diffusion trajectory distillation and offer practical insights for improving distillation strategies.
- Abstract（参考訳）: 拡散軌道蒸留法は, 高い出力を発生させるが, サンプリング速度が遅い拡散モデルにおいて, サンプリングを高速化することを目的としている。
これらの方法は、学生モデルに1ステップで事前訓練された教師モデルのマルチステップ認知過程を近似するように訓練し、ワンショット生成を可能にする。
しかし、異なる蒸留戦略と生成的品質のトレードオフに関する理論的洞察は限定的であり、最適化と選択を複雑にしている。
この作業では、このギャップに対処する第一歩を踏み出します。
具体的には,教師モデルの各ステップが雑音データに作用する線形作用素として表現される線形状態において,トラジェクトリ蒸留を演算子マージ問題として再解釈する。
これらの演算子は、ノイズスケジュールに対応する投影と再スケーリングとして明確な幾何学的解釈を認める。
マージ中、信号の縮小は、学生モデルの離散化と限られた最適化時間の両方から生じる演算子の凸結合として発生する。
信号の忠実度を最大に保存する最適なマージ戦略を計算するための動的プログラミングアルゴリズムを提案する。
さらに,データ共分散構造が支配する最適戦略における急激な相転移の存在を実証する。
本研究は, 拡散軌道蒸留の理論的理解を高め, 蒸留戦略改善のための実践的洞察を提供するものである。
関連論文リスト
- Flows and Diffusions on the Neural Manifold [0.0]
拡散およびフローベース生成モデルは、画像合成、ビデオ生成、自然言語モデリングといった領域で顕著に成功している。
これらの進歩は、最近の手法を活用して、最適化力学から導かれる構造的事前を組み込むことにより、重み空間学習に拡張する。
論文 参考訳（メタデータ） (2025-07-14T02:26:06Z) - Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。
それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。
本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
論文 参考訳（メタデータ） (2024-06-13T20:22:38Z) - Distilling Diffusion Models into Conditional GANs [90.76040478677609]
複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。
E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。
我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
論文 参考訳（メタデータ） (2024-05-09T17:59:40Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
拡散モデルに基づく超解像(SR)法は有望な結果を示す。
しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。
本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
論文 参考訳（メタデータ） (2023-11-23T16:21:29Z) - Unsupervised Discovery of Interpretable Directions in h-space of
Pre-trained Diffusion Models [63.1637853118899]
本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。
我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。
それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
論文 参考訳（メタデータ） (2023-10-15T18:44:30Z) - Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。
本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。
本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
論文 参考訳（メタデータ） (2023-10-06T06:29:06Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳（メタデータ） (2023-07-27T04:27:26Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Operator Inference and Physics-Informed Learning of Low-Dimensional
Models for Incompressible Flows [5.756349331930218]
本稿では,データからの非圧縮性流れに対する構造的低次モデル学習への新たなアプローチを提案する。
本研究では,速度と圧力の学習ダイナミクスを分離し,効率的な演算子推論手法を提案する。
論文 参考訳（メタデータ） (2020-10-13T21:26:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。