論文の概要: Effortless Efficiency: Low-Cost Pruning of Diffusion Models
- arxiv url: http://arxiv.org/abs/2412.02852v1
- Date: Tue, 03 Dec 2024 21:37:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-05 15:08:33.073258
- Title: Effortless Efficiency: Low-Cost Pruning of Diffusion Models
- Title（参考訳）: 無益な効率性:拡散モデルの低コストプルーニング
- Authors: Yang Zhang, Er Jin, Yanfei Dong, Ashkan Khakzar, Philip Torr, Johannes Stegmaier, Kenji Kawaguchi,
- Abstract要約: 本稿では,拡散モデルに対するモデルに依存しない構造解析フレームワークを提案する。
最終復号化潜水剤の品質を保った効率的な刈り出しを確保するため, 拡散過程全体にわたる新しいエンドツーエンドの刈り出し目標を設計する。
最新のU-Net拡散モデル SDXL と拡散変換器 (FLUX) による結果から,本手法は性能劣化を最小限に抑え,20%のパラメータを効果的に生成できることを示した。
- 参考スコア（独自算出の注目度）: 29.821803522137913
- License:
- Abstract: Diffusion models have achieved impressive advancements in various vision tasks. However, these gains often rely on increasing model size, which escalates computational complexity and memory demands, complicating deployment, raising inference costs, and causing environmental impact. While some studies have explored pruning techniques to improve the memory efficiency of diffusion models, most existing methods require extensive retraining to retain the model performance. Retraining a modern large diffusion model is extremely costly and resource-intensive, which limits the practicality of these methods. In this work, we achieve low-cost diffusion pruning without retraining by proposing a model-agnostic structural pruning framework for diffusion models that learns a differentiable mask to sparsify the model. To ensure effective pruning that preserves the quality of the final denoised latent, we design a novel end-to-end pruning objective that spans the entire diffusion process. As end-to-end pruning is memory-intensive, we further propose time step gradient checkpointing, a technique that significantly reduces memory usage during optimization, enabling end-to-end pruning within a limited memory budget. Results on state-of-the-art U-Net diffusion models SDXL and diffusion transformers (FLUX) demonstrate that our method can effectively prune up to 20% parameters with minimal perceptible performance degradation, and notably, without the need for model retraining. We also showcase that our method can still prune on top of time step distilled diffusion models.
- Abstract（参考訳）: 拡散モデルは様々な視覚タスクにおいて顕著な進歩を遂げた。
しかしながら、これらの利益は、計算複雑性とメモリ要求をエスカレートするモデルサイズの増加、デプロイメントの複雑化、推論コストの上昇、環境への影響を引き起こすことに依存することが多い。
いくつかの研究では、拡散モデルのメモリ効率を改善するためにプルーニング手法を研究してきたが、既存の手法の多くはモデル性能を維持するために広範囲な再訓練を必要としている。
近代的な大規模拡散モデルの訓練は非常にコストが高く、資源集約的であり、これらの手法の実用性に制限がある。
本研究では,モデルの分散化を図った微分マスクを学習する拡散モデルに対して,モデルに依存しない構造的プルーニングフレームワークを提案することにより,リトレーニングを伴わない低コストな拡散プルーニングを実現する。
最終復号化潜水剤の品質を保った効率的な刈り出しを確保するため, 拡散過程全体にわたる新しいエンドツーエンドの刈り出し目標を設計する。
エンド・ツー・エンドのプルーニングはメモリ集約的であるため、最適化時のメモリ使用量を大幅に削減し、限られたメモリ予算内でのエンド・ツー・エンドのプルーニングを可能にする技術であるタイム・グラデーション・チェックポイントを提案する。
現状のU-Net拡散モデルSDXLと拡散変圧器(FLUX)による結果から,本手法は最大20%のパラメータを許容性能の低下を最小限に抑えることができ,特にモデル再トレーニングを必要とせずに効果的に実行可能であることが示された。
また, 本手法は, 蒸留拡散モデル上にも適用可能であることを示す。
関連論文リスト
- ResPanDiff: Diffusion Model for Pansharpening by Inferring Residual Inference [8.756657890124766]
ResPanDiff(ResPanDiff)を用いたパンシャーピングのための拡散モデルを提案する。
ResPanDiffは、パンシャーピングタスクに取り組むパフォーマンスを犠牲にすることなく、拡散ステップの数を著しく削減する。
提案手法は最近の最先端技術(SOTA)と比較して優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2025-01-09T09:15:07Z) - Efficient Fine-Tuning and Concept Suppression for Pruned Diffusion Models [93.76814568163353]
本稿では,2段階の拡散モデルに対する新しい最適化フレームワークを提案する。
このフレームワークは、微調整と未学習のプロセスを統一的なフェーズに統合する。
様々なプルーニングや概念未学習の手法と互換性がある。
論文 参考訳（メタデータ） (2024-12-19T19:13:18Z) - Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:25:56Z) - Taming Diffusion Prior for Image Super-Resolution with Domain Shift SDEs [36.65594293655289]
DoSSRは、事前訓練された拡散モデルの生成力を生かしたドメインシフト拡散に基づくSRモデルである。
このアプローチの核となるのは、既存の拡散モデルとシームレスに統合されるドメインシフト方程式です。
提案手法は, 合成および実世界のデータセットに対して, 5つのサンプリングステップしか必要とせず, 最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-09-26T12:16:11Z) - SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。
本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。
本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文 参考訳（メタデータ） (2024-09-10T16:44:47Z) - Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳（メタデータ） (2024-02-15T18:59:18Z) - Fixed Point Diffusion Models [13.035518953879539]
FPDM(Fixed Point Diffusion Model)は、FPDM(Fixed Point Diffusion Model)の概念を拡散に基づく生成モデルに組み込んだ画像生成手法である。
提案手法では,拡散モデルのデノナイズネットワークに暗黙の固定点解法層を埋め込み,拡散過程を密接な関係のある固定点問題列に変換する。
我々は、ImageNet、FFHQ、CelebA-HQ、LSUN-Churchの最先端モデルを用いて実験を行い、性能と効率を大幅に改善した。
論文 参考訳（メタデータ） (2024-01-16T18:55:54Z) - Memory-Efficient Fine-Tuning for Quantized Diffusion Model [12.875837358532422]
本稿では,量子化拡散モデルのためのメモリ効率の良い微調整手法であるTuneQDMを紹介する。
提案手法は, 単目的/多目的の両方の世代において, ベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2024-01-09T03:42:08Z) - Structural Pruning for Diffusion Models [65.02607075556742]
Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。
複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-05-18T12:38:21Z) - Restoration based Generative Models [0.886014926770622]
デノイング拡散モデル(DDM)は、印象的な合成品質を示すことで注目を集めている。
本稿では、画像復元(IR)の観点からDDMの解釈を確立する。
本稿では,前処理の柔軟性を生かして,拡散過程と比較して性能を向上するマルチスケールトレーニングを提案する。
われわれのフレームワークは、新しいタイプのフレキシブル・ジェネラル・ジェネラル・ジェネレーティブ・モデルの設計の道を開いたと信じている。
論文 参考訳（メタデータ） (2023-02-20T00:53:33Z) - Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。
最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。
現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。
まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
論文 参考訳（メタデータ） (2020-07-13T16:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。