論文の概要: Elucidating the Preconditioning in Consistency Distillation
- arxiv url: http://arxiv.org/abs/2502.02922v1
- Date: Wed, 05 Feb 2025 06:30:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-06 14:28:20.670996
- Title: Elucidating the Preconditioning in Consistency Distillation
- Title（参考訳）: 常温蒸留におけるプレコンディショニングの解明
- Authors: Kaiwen Zheng, Guande He, Jianfei Chen, Fan Bao, Jun Zhu,
- Abstract要約: 整合性ギャップに応じて事前条件を解析的に最適化する「textitAnalytic-Precond」を提案する。
そこで我々は,Analytic-Precondがトラジェクトリ・ジャンパーの学習を容易にし,生徒のトラジェクトリと教師のトラジェクトリのアライメントを高め,一貫性トラジェクトリモデルのトレーニングアクセラレーションを2倍から3倍に向上できることを実証した。
- 参考スコア（独自算出の注目度）: 25.213664260896103
- License:
- Abstract: Consistency distillation is a prevalent way for accelerating diffusion models adopted in consistency (trajectory) models, in which a student model is trained to traverse backward on the probability flow (PF) ordinary differential equation (ODE) trajectory determined by the teacher model. Preconditioning is a vital technique for stabilizing consistency distillation, by linear combining the input data and the network output with pre-defined coefficients as the consistency function. It imposes the boundary condition of consistency functions without restricting the form and expressiveness of the neural network. However, previous preconditionings are hand-crafted and may be suboptimal choices. In this work, we offer the first theoretical insights into the preconditioning in consistency distillation, by elucidating its design criteria and the connection to the teacher ODE trajectory. Based on these analyses, we further propose a principled way dubbed \textit{Analytic-Precond} to analytically optimize the preconditioning according to the consistency gap (defined as the gap between the teacher denoiser and the optimal student denoiser) on a generalized teacher ODE. We demonstrate that Analytic-Precond can facilitate the learning of trajectory jumpers, enhance the alignment of the student trajectory with the teacher's, and achieve $2\times$ to $3\times$ training acceleration of consistency trajectory models in multi-step generation across various datasets.
- Abstract（参考訳）: 一貫性蒸留は、教師モデルによって決定される確率フロー(PF)常微分方程式(ODE)軌道上で、生徒モデルが逆向きに進行するように訓練される、一貫性(軌道)モデルで採用される拡散モデルを加速する一般的な方法である。
プレコンディショニングは、入力データとネットワーク出力と予め定義された係数を整合関数として線形に結合することにより、整合蒸留を安定化するための重要な技術である。
ニューラルネットワークの形式と表現性を制限することなく、一貫性関数の境界条件を課す。
しかし、以前のプレコンディショニングは手作りであり、最適な選択かもしれない。
本研究では, 整合蒸留におけるプレコンディショニングに関する最初の理論的考察を行い, その設計基準と教師のODE軌道との関係を明らかにする。
これらの分析に基づいて,一般教師のODE上での整合性ギャップ(教師と最適生徒とのギャップとして定義される)に応じて,事前条件を解析的に最適化する,‘textit{Analytic-Precond} という原理的手法も提案する。
そこで我々は,Analytic-Precondがトラジェクトリ・ジャンパーの学習を容易にし,生徒のトラジェクトリと教師のトラジェクトリのアライメントを強化し,複数ステップのデータセットをまたいだ一貫性トラジェクトリモデルのトレーニングアクセラレーションを2ドルから3ドルに向上できることを実証した。
関連論文リスト
- No Equations Needed: Learning System Dynamics Without Relying on Closed-Form ODEs [56.78271181959529]
本稿では,従来の2段階モデリングプロセスから離れることで,低次元力学系をモデル化する概念シフトを提案する。
最初に閉形式方程式を発見して解析する代わりに、我々のアプローチ、直接意味モデリングは力学系の意味表現を予測する。
私たちのアプローチは、モデリングパイプラインを単純化するだけでなく、結果のモデルの透明性と柔軟性も向上します。
論文 参考訳（メタデータ） (2025-01-30T18:36:48Z) - Elucidating Flow Matching ODE Dynamics with Respect to Data Geometries [10.947094609205765]
拡散に基づく生成モデルが画像生成の標準となり, 学習ベクトル場によるサンプリングステップの削減により, 拡散モデルと比較して, ODEベースのサンプリングモデルとフローマッチングモデルにより効率が向上した。
我々は,ODE力学を駆動するデノイザを中心に,サンプル軌道の包括的解析を通じて,フローマッチングモデルの理論を推し進める。
解析により,グローバルなデータ特徴から局所構造への軌道の進化が明らかとなり,フローマッチングモデルにおけるサンプルごとの挙動の幾何学的特徴が得られた。
論文 参考訳（メタデータ） (2024-12-25T01:17:15Z) - OFTSR: One-Step Flow for Image Super-Resolution with Tunable Fidelity-Realism Trade-offs [20.652907645817713]
OFTSRはワンステップ画像超解像のためのフローベースフレームワークであり、可変レベルの忠実度とリアリズムで出力を生成することができる。
我々は,一段階画像の超高解像度化を実現するとともに,忠実現実主義のトレードオフを柔軟に調整できることを実証した。
論文 参考訳（メタデータ） (2024-12-12T17:14:58Z) - Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。
本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。
提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
論文 参考訳（メタデータ） (2024-09-13T02:23:55Z) - Gradient Guidance for Diffusion Models: An Optimization Perspective [45.6080199096424]
本稿では,ユーザ特定目的の最適化に向けて,事前学習した拡散モデルを適用するための勾配ガイダンスの形式について検討する。
我々は,その最適化理論とアルゴリズム設計を体系的に研究するために,誘導拡散の数学的枠組みを確立する。
論文 参考訳（メタデータ） (2024-04-23T04:51:02Z) - Towards a mathematical theory for consistency training in diffusion
models [17.632123036281957]
本稿では,一貫性モデルの理論的基盤を確立するための第一歩を踏み出す。
分布中のターゲットに近接する$varepsilon$のサンプルを生成するためには、データ次元で$d5/2/varepsilon$を超える一貫性学習のステップの数に十分であることを示す。
我々の理論は一貫性モデルの有効性と有効性に関する厳密な洞察を与え、下流推論タスクにおけるそれらの有用性を示す。
論文 参考訳（メタデータ） (2024-02-12T17:07:02Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳（メタデータ） (2023-07-27T04:27:26Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳（メタデータ） (2020-10-28T15:23:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。