論文の概要: You Only Look One Step: Accelerating Backpropagation in Diffusion Sampling with Gradient Shortcuts

• arxiv url: http://arxiv.org/abs/2505.07477v1
• Date: Mon, 12 May 2025 12:09:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.368028
• Title: You Only Look One Step: Accelerating Backpropagation in Diffusion Sampling with Gradient Shortcuts
• Title（参考訳）: ステップ1: 勾配ショートカットによる拡散サンプリングにおけるバックプロパゲーションの高速化
• Authors: Hongkun Dou, Zeyu Li, Xingyu Jiang, Hongjue Li, Lijun Yang, Wen Yao, Yue Deng,
• Abstract要約: 拡散モデル(DM)は近年,大規模データ分散のモデル化において顕著な成功を収めている。 多くの下流タスクでは、特定の異なるメトリクスに基づいて生成されたコンテンツを導く必要があり、通常は生成プロセス中にバックプロパゲーションを必要とする。 並列化の観点からこの問題にアプローチする,より効率的な代替案を提案する。
• 参考スコア（独自算出の注目度）: 13.191937642688279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) have recently demonstrated remarkable success in modeling large-scale data distributions. However, many downstream tasks require guiding the generated content based on specific differentiable metrics, typically necessitating backpropagation during the generation process. This approach is computationally expensive, as generating with DMs often demands tens to hundreds of recursive network calls, resulting in high memory usage and significant time consumption. In this paper, we propose a more efficient alternative that approaches the problem from the perspective of parallel denoising. We show that full backpropagation throughout the entire generation process is unnecessary. The downstream metrics can be optimized by retaining the computational graph of only one step during generation, thus providing a shortcut for gradient propagation. The resulting method, which we call Shortcut Diffusion Optimization (SDO), is generic, high-performance, and computationally lightweight, capable of optimizing all parameter types in diffusion sampling. We demonstrate the effectiveness of SDO on several real-world tasks, including controlling generation by optimizing latent and aligning the DMs by fine-tuning network parameters. Compared to full backpropagation, our approach reduces computational costs by $\sim 90\%$ while maintaining superior performance. Code is available at https://github.com/deng-ai-lab/SDO.
• Abstract（参考訳）: 拡散モデル(DM)は近年,大規模データ分散のモデル化において顕著な成功を収めている。 しかし、多くのダウンストリームタスクは、特定の異なるメトリクスに基づいて生成されたコンテンツを導く必要がある。 DMの生成は数十から数百の再帰的ネットワーク呼び出しを必要とすることが多く、高いメモリ使用量と大幅な時間消費をもたらすため、このアプローチは計算コストがかかる。 本稿では,並列化の観点から問題にアプローチする,より効率的な方法を提案する。 生成プロセス全体にわたる完全なバックプロパゲーションは不要であることを示す。 下流のメトリクスは、生成中の1ステップのみの計算グラフを保持することで最適化できるため、勾配伝播のショートカットを提供することができる。 SDO(Shortcut Diffusion Optimization)と呼ばれるこの手法は汎用的で高性能で計算量も軽量で、拡散サンプリングにおいて全てのパラメータタイプを最適化することができる。 本稿では,遅延を最適化し,ネットワークパラメータを微調整してDMを整列させることにより生成を制御することを含む,実世界のタスクにおけるSDOの有効性を実証する。 フルバックプロパゲーションと比較して,優れた性能を維持しつつ計算コストを$\sim 90\% 削減する。 コードはhttps://github.com/deng-ai-lab/SDO.comで入手できる。

関連論文リスト

• Optimal Stepsize for Diffusion Sampling [14.849487881523041]
  拡散モデルは、優れた生成品質を達成するが、最適以下のステップの離散化による計算集約サンプリングに苦しむ。 本稿では,参照軌道から知識を抽出し,理論的に最適なスケジュールを抽出する動的プログラミングフレームワークであるOptimal Stepsize Distillationを提案する。 実験では、GenEvalで99.4%のパフォーマンスを維持しながら、10倍の高速化されたテキスト-画像生成を示す。
  論文  参考訳（メタデータ） (2025-03-27T17:59:46Z)
• LazyDiT: Lazy Learning for the Acceleration of Diffusion Transformers [79.07412045476872]
  拡散変換器は、様々な生成タスクの優越的なモデルとして登場してきた。 各拡散段階におけるモデル全体の実行は不要であることを示し、いくつかの計算は以前のステップの結果を遅延的に再利用することでスキップできることを示した。 遅延学習フレームワークを提案する。このフレームワークは,初期ステップからキャッシュされた結果を効率よく活用し,冗長な計算を省略する。
  論文  参考訳（メタデータ） (2024-12-17T01:12:35Z)
• DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization [22.546989373687655]
  本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。 提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T12:18:24Z)
• Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates [1.9241821314180372]
  非同期勾配降下法(ASGD)は訓練速度を改善することができるが、通信とスループットの差により遅延に敏感である。 PD-ASGDは、フォワードとバックのパスに別々のスレッドを使用し、更新を分離し、フォワードとバックのスレッドの比率を高くする。 提案手法では,遅延が存在する場合,同期データ並列処理よりも5.95タイム以上高速に動作しながら,最先端の処理結果に近い結果が得られる。
  論文  参考訳（メタデータ） (2024-10-08T12:32:36Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Learning to Efficiently Sample from Diffusion Probabilistic Models [49.58748345998702]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる。 我々は,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T17:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。