論文の概要: DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization

• arxiv url: http://arxiv.org/abs/2410.16942v1
• Date: Tue, 22 Oct 2024 12:18:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:28:46.010787
• Title: DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization
• Title（参考訳）: DiP-GO: 数ステップの勾配最適化による拡散プランナ
• Authors: Haowei Zhu, Dehua Tang, Ji Liu, Mingjie Lu, Jintu Zheng, Jinzhang Peng, Dong Li, Yu Wang, Fan Jiang, Lu Tian, Spandan Tiwari, Ashish Sirasao, Jun-Hai Yong, Bin Wang, Emad Barsoum,
• Abstract要約: 本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。 提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 22.546989373687655
• License:
• Abstract: Diffusion models have achieved remarkable progress in the field of image generation due to their outstanding capabilities. However, these models require substantial computing resources because of the multi-step denoising process during inference. While traditional pruning methods have been employed to optimize these models, the retraining process necessitates large-scale training datasets and extensive computational costs to maintain generalization ability, making it neither convenient nor efficient. Recent studies attempt to utilize the similarity of features across adjacent denoising stages to reduce computational costs through simple and static strategies. However, these strategies cannot fully harness the potential of the similar feature patterns across adjacent timesteps. In this work, we propose a novel pruning method that derives an efficient diffusion model via a more intelligent and differentiable pruner. At the core of our approach is casting the model pruning process into a SubNet search process. Specifically, we first introduce a SuperNet based on standard diffusion via adding some backup connections built upon the similar features. We then construct a plugin pruner network and design optimization losses to identify redundant computation. Finally, our method can identify an optimal SubNet through few-step gradient optimization and a simple post-processing procedure. We conduct extensive experiments on various diffusion models including Stable Diffusion series and DiTs. Our DiP-GO approach achieves 4.4 x speedup for SD-1.5 without any loss of accuracy, significantly outperforming the previous state-of-the-art methods.
• Abstract（参考訳）: 拡散モデルは、その卓越した能力により、画像生成の分野で顕著な進歩を遂げている。 しかし、これらのモデルは推論中に多段階のデノゲーションプロセスのため、かなりの計算資源を必要とする。 従来のプルーニング手法はこれらのモデルの最適化に用いられてきたが、大規模なトレーニングデータセットと計算コストが一般化能力を維持するために必要であり、便利でも効率的でもない。 最近の研究は、単純な戦略と静的戦略によって計算コストを削減するために、隣接する認知段階にまたがる特徴の類似性を生かそうとしている。 しかし、これらの戦略は、隣接する時間経過で類似した特徴パターンの可能性を完全に活用することはできない。 本研究では,よりインテリジェントで微分可能なプルーナーを用いて効率的な拡散モデルを導出する新しいプルーニング法を提案する。 我々のアプローチの核心は、モデルプルーニングプロセスをSubNet検索プロセスにキャストすることだ。 具体的には、まず、同様の機能上に構築されたバックアップ接続を追加することで、標準拡散に基づくSuperNetを導入します。 次に、プラグインプルーナーネットワークを構築し、冗長な計算を識別するための最適化損失を設計する。 最後に,数ステップの勾配最適化と簡単な後処理によって最適なSubNetを同定する手法を提案する。 安定拡散級数やDiTを含む様々な拡散モデルについて広範な実験を行った。 我々のDiP-GOアプローチはSD-1.5の4.4倍の高速化を実現し、従来の最先端手法よりも大幅に優れていた。

関連論文リスト

• Tuning Timestep-Distilled Diffusion Model Using Pairwise Sample Optimization [97.35427957922714]
  任意の時間ステップ蒸留拡散モデルを直接微調整できるPSOアルゴリズムを提案する。 PSOは、現在の時間ステップ蒸留モデルからサンプリングされた追加の参照画像を導入し、トレーニング画像と参照画像との相対的な近縁率を増大させる。 PSOは、オフラインとオンラインのペアワイズ画像データの両方を用いて、蒸留モデルを直接人間の好ましくない世代に適応させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-04T07:05:16Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• FIND: Fine-tuning Initial Noise Distribution with Policy Optimization for Diffusion Models [10.969811500333755]
  本稿では,FIND(Fincent-tuning Initial Noise Distribution)フレームワークのポリシー最適化について紹介する。 提案手法はSOTA法よりも10倍高速である。
  論文  参考訳（メタデータ） (2024-07-28T10:07:55Z)
• Diffusion Models as Optimizers for Efficient Planning in Offline RL [47.0835433289033]
  拡散モデルはオフラインの強化学習タスクにおいて強い競争力を示している。 本稿では,より高速な自己回帰モデルを提案する。 これにより、能力を犠牲にすることなく、より効率的な計画を達成することができます。
  論文  参考訳（メタデータ） (2024-07-23T03:00:01Z)
• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration [57.846038404893626]
  本稿では,拡散モデルに対する効率的な画像生成を実現するために,最適な時間ステップシーケンスと圧縮モデルアーキテクチャを統一されたフレームワークで探索することを提案する。 実験結果から,ImageNet 64$times$64の17.86 FIDスコアとDDIMの138.66の4ステップのFIDスコアを用いると,優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-09-19T08:57:24Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。