論文の概要: SADA: Stability-guided Adaptive Diffusion Acceleration

• arxiv url: http://arxiv.org/abs/2507.17135v1
• Date: Wed, 23 Jul 2025 02:15:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:14.827109
• Title: SADA: Stability-guided Adaptive Diffusion Acceleration
• Title（参考訳）: SADA: 安定誘導型適応拡散加速器
• Authors: Ting Jiang, Yixiao Wang, Hancheng Ye, Zishan Shao, Jingwei Sun, Jingyang Zhang, Zekai Chen, Jianyi Zhang, Yiran Chen, Hai Li,
• Abstract要約: 拡散モデルは生成的タスクにおいて顕著な成功を収めたが、高い計算コストに悩まされている。 既存のトレーニングフリー加速戦略は、ステップごとの計算コストを削減しつつ、サンプリング時間を効果的に削減し、信頼性を低下させる。 本稿では, ODE に基づく生成モデルのサンプリングを高速化する新しいパラダイムとして, 安定誘導型適応拡散加速法 (SADA) を提案する。
• 参考スコア（独自算出の注目度）: 24.250318487331228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have achieved remarkable success in generative tasks but suffer from high computational costs due to their iterative sampling process and quadratic attention costs. Existing training-free acceleration strategies that reduce per-step computation cost, while effectively reducing sampling time, demonstrate low faithfulness compared to the original baseline. We hypothesize that this fidelity gap arises because (a) different prompts correspond to varying denoising trajectory, and (b) such methods do not consider the underlying ODE formulation and its numerical solution. In this paper, we propose Stability-guided Adaptive Diffusion Acceleration (SADA), a novel paradigm that unifies step-wise and token-wise sparsity decisions via a single stability criterion to accelerate sampling of ODE-based generative models (Diffusion and Flow-matching). For (a), SADA adaptively allocates sparsity based on the sampling trajectory. For (b), SADA introduces principled approximation schemes that leverage the precise gradient information from the numerical ODE solver. Comprehensive evaluations on SD-2, SDXL, and Flux using both EDM and DPM++ solvers reveal consistent $\ge 1.8\times$ speedups with minimal fidelity degradation (LPIPS $\leq 0.10$ and FID $\leq 4.5$) compared to unmodified baselines, significantly outperforming prior methods. Moreover, SADA adapts seamlessly to other pipelines and modalities: It accelerates ControlNet without any modifications and speeds up MusicLDM by $1.8\times$ with $\sim 0.01$ spectrogram LPIPS.
• Abstract（参考訳）: 拡散モデルは、生成的タスクにおいて顕著に成功したが、反復的なサンプリングプロセスと二次的注意コストのために高い計算コストに悩まされている。 既存のトレーニングフリー加速戦略では、ステップ毎の計算コストを削減できるが、サンプリング時間を効果的に削減できるため、元のベースラインに比べて信頼性が低い。 我々はこの忠実さのギャップが生じると仮定する。 (a)異なるプロンプトは、異なる発声軌跡に対応し、 b) 基礎となるODEの定式化とその数値解は考慮していない。 本稿では,1つの安定性基準によりステップワイドおよびトークンワイドの空間性決定を統一し,ODEベースの生成モデル(拡散とフローマッチング)のサンプリングを高速化する新しいパラダイムである,安定性誘導型適応拡散加速(SADA)を提案する。 対訳 対訳 対訳 対訳 対訳 対訳 対 (a)SADAはサンプリング軌道に基づいて間隔を適応的に割り当てる。 対訳 対訳 対訳 対訳 対訳 対訳 対 (b) 数値ODEソルバの正確な勾配情報を利用する原理的近似法を導入する。 SD-2、SDXL、Fluxの総合的な評価では、EDMとDPM++の両方のソルバを使用して、修正されていないベースラインと比較して、最小フィデリティ劣化(LPIPS $\leq 0.10$とFID $\leq 4.5$)で一貫した$\ge 1.8\times$のスピードアップが明らかになり、従来の手法よりも大幅に優れていた。 SADAは、他のパイプラインやモダリティにシームレスに適応する: 変更することなく ControlNet を高速化し、MusicLDM を $\sim 0.01$ spectrogram LPIPS で 1.8\times$ で高速化する。

関連論文リスト

• Distilling Parallel Gradients for Fast ODE Solvers of Diffusion Models [53.087070073434845]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低レイテンシの予算で画像品質が劣化することが多い。 本稿では、各ODEステップに複数の並列勾配評価を組み込むことで、トランケーションエラーを軽減する新しいODEソルバであるEnsemble Parallel Direction Solutionrを提案する。
  論文  参考訳（メタデータ） (2025-07-20T03:08:06Z)
• VAMO: Efficient Large-Scale Nonconvex Optimization via Adaptive Zeroth Order Variance Reduction [3.130722489512822]
  VAMOは、ZOGスタイルのフレームワークの下で、FOミニバッチ勾配とZO有限差分プローブを組み合わせる。 VAMOはFO法やZO法よりも優れており、効率を向上させるためにより高速で柔軟な選択肢を提供する。
  論文  参考訳（メタデータ） (2025-05-20T05:31:15Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [75.70017261794422]
  本稿では,オンライン強化学習(RL)をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では, 1 つの主要な戦略を用いる:(1) 決定論的正規方程式 (ODE) を, 1 つの時点における原モデルの限界分布に一致する等価な微分方程式 (SDE) に変換するODE-to-SDE 変換と、(2) 元の推論タイムステップ数を保ちながらトレーニングの段階を減らし,
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
  拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。 最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。 我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
  論文  参考訳（メタデータ） (2024-09-05T17:59:46Z)
• PFDiff: Training-Free Acceleration of Diffusion Models Combining Past and Future Scores [4.595421654683656]
  拡散確率モデル(DPM)は画像生成において顕著な可能性を示している。 既存のほとんどのソリューションは、高速ODEソルバを提案することでサンプリングプロセスを加速する。 我々は、既存の高速ODEソルバを少ないNFEで動作させることができる新しいトレーニングフリーかつタイムステップスキッピング戦略であるPFDiffを提案する。
  論文  参考訳（メタデータ） (2024-08-16T16:12:44Z)
• Efficient Sampling for Data-Driven Frequency Stability Constraint via Forward-Mode Automatic Differentiation [5.603382086370097]
  本稿では,フォワードモード自動微分による勾配データ生成手法を提案する。 この方法では、元の力学系は、元の状態の感度のダイナミクスを表す新しい状態で拡張される。 提案アルゴリズムは, 非線形微分法と有限差分法と比較して, サンプリングアルゴリズムの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-21T03:50:11Z)
• Accelerating Convergence of Score-Based Diffusion Models, Provably [44.11766377798812]
  スコアベース拡散モデルはしばしばサンプリングフェーズで必要とされる広範な機能評価のためにサンプリング速度の低下に悩まされる。 我々は、一般的な決定論的(DDIM)および(DDPM)サンプリングを高速化する、新しいトレーニングフリーアルゴリズムを設計する。 我々の理論は、$ell$-accurate score estimatesを許容し、ターゲット分布に対数凹凸や滑らかさを必要としない。
  論文  参考訳（メタデータ） (2024-03-06T17:02:39Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• A Unified Sampling Framework for Solver Searching of Diffusion Probabilistic Models [21.305868355976394]
  本稿では,一元化サンプリングフレームワーク (USF) を提案する。 この枠組みでは,異なるタイミングで異なる解法をとることで,トラルニケートエラーの低減が図られる。 S3$は、最先端のサンプリング手法よりも優れた解法スケジュールを見つけることができることを実証する。
  論文  参考訳（メタデータ） (2023-12-12T13:19:40Z)
• Towards More Accurate Diffusion Model Acceleration with A Timestep Aligner [84.97253871387028]
  数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。 最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。 実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-14T02:19:07Z)
• Improved Order Analysis and Design of Exponential Integrator for Diffusion Models Sampling [36.50606582918392]
  指数解法は最先端のパフォーマンスを示すことで有名になった。 既存の高次EIに基づくサンプリングアルゴリズムは退化EIソルバに依存している。 全ての順序条件を満たす改良されたEIソルバを提案する。
  論文  参考訳（メタデータ） (2023-08-04T06:30:40Z)
• Preconditioned Score-based Generative Models [45.66744783988319]
  直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。 本稿では,行列プレコンディショニングを利用して上記の問題を緩和する新しいプリコンディショニング拡散サンプリング法を提案する。 PDSはSGMの出力分布を保ち、元のサンプリングプロセスに系統的バイアスを引き起こすリスクはない。
  論文  参考訳（メタデータ） (2023-02-13T16:30:53Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。