論文の概要: Pruning for Sparse Diffusion Models based on Gradient Flow

• arxiv url: http://arxiv.org/abs/2501.09464v1
• Date: Thu, 16 Jan 2025 10:55:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:09:45.217452
• Title: Pruning for Sparse Diffusion Models based on Gradient Flow
• Title（参考訳）: グラディエントフローに基づくスパース拡散モデルのプルーニング
• Authors: Ben Wan, Tianyi Zheng, Zhaoyu Chen, Yuxiao Wang, Jia Wang,
• Abstract要約: 拡散モデル(DM)は、世代モデル間で印象的な能力を持つが、推論速度が遅いことと計算コストが高いことに制限されている。 従来の作業では、単発構造プルーニングを使用して、事前訓練されたものから軽量DMを導出するが、このアプローチは世代品質を著しく低下させることが多い。 本稿では,勾配流プルーニングプロセスと勾配流プルーニング基準を含む勾配流に基づく反復的プルーニング法を提案する。
• 参考スコア（独自算出の注目度）: 5.45577871017303
• License:
• Abstract: Diffusion Models (DMs) have impressive capabilities among generation models, but are limited to slower inference speeds and higher computational costs. Previous works utilize one-shot structure pruning to derive lightweight DMs from pre-trained ones, but this approach often leads to a significant drop in generation quality and may result in the removal of crucial weights. Thus we propose a iterative pruning method based on gradient flow, including the gradient flow pruning process and the gradient flow pruning criterion. We employ a progressive soft pruning strategy to maintain the continuity of the mask matrix and guide it along the gradient flow of the energy function based on the pruning criterion in sparse space, thereby avoiding the sudden information loss typically caused by one-shot pruning. Gradient-flow based criterion prune parameters whose removal increases the gradient norm of loss function and can enable fast convergence for a pruned model in iterative pruning stage. Our extensive experiments on widely used datasets demonstrate that our method achieves superior performance in efficiency and consistency with pre-trained models.
• Abstract（参考訳）: 拡散モデル(DM)は、世代モデル間で印象的な能力を持つが、推論速度が遅いことと計算コストが高いことに制限されている。 従来の作業では、単発構造プルーニングを使用して、事前訓練されたものから軽量DMを導出するが、このアプローチは世代品質を著しく低下させ、重要な重量を除去する可能性がある。 そこで本研究では,勾配流プルーニングプロセスと勾配流プルーニング基準を含む勾配流に基づく反復的プルーニング法を提案する。 マスクマトリックスの連続性を維持し,スパース空間におけるプルーニング基準に基づくエネルギー関数の勾配流に沿って誘導するために,プログレッシブなソフトプルーニング戦略を採用し,ワンショットプルーニングによって引き起こされる突発的な情報損失を回避する。 除去により損失関数の勾配ノルムが増加するグラディエントフローに基づくクリータリオンプルーネパラメータは、反復的プルーニング段階において、プルーニングモデルの高速収束を可能にする。 広範に使用されているデータセットに対する広範な実験により,本手法は事前学習したモデルとの効率性と整合性において優れた性能を発揮することが示された。

関連論文リスト

• Diffusion State-Guided Projected Gradient for Inverse Problems [82.24625224110099]
  逆問題に対する拡散状態ガイド型射影勾配(DiffStateGrad)を提案する。 DiffStateGrad は拡散過程の中間状態の低ランク近似である部分空間に測定勾配を投影する。 DiffStateGradは、測定手順のステップサイズとノイズの選択によって拡散モデルのロバスト性を向上させる。
  論文  参考訳（メタデータ） (2024-10-04T14:26:54Z)
• Straightforward Layer-wise Pruning for More Efficient Visual Adaptation [0.0]
  そこで本研究では,PETL転送モデルに対するSLSと呼ばれるStraightforward層ワイドプルーニング手法を提案する。 本研究は, プレニング指標の保存に焦点をあてたレイヤワイドプルーニングが, ストレージ容量の懸念に対処することを明らかにする。
  論文  参考訳（メタデータ） (2024-07-19T14:10:35Z)
• FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
  FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。 私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
  論文  参考訳（メタデータ） (2024-06-01T17:29:29Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Minimizing Trajectory Curvature of ODE-based Generative Models [45.89620603363946]
  拡散モデル、整流モデル、流れマッチングなどの最近の生成モデルは、生成過程を固定前進過程の時間反転として定義する。 我々は, ODE/SDEシミュレーションを使わずに生成軌道の曲率を最小化するために, 前進過程を効率的に訓練する方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T21:52:03Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Sparse Progressive Distillation: Resolving Overfitting under Pretrain-and-Finetune Paradigm [7.662952656290564]
  トランスフォーマーベースの言語モデルのフットプリント要求を減らすために、様々なプルーニング手法が提案されている。 オーバーフィッティングのリスクを減らすことが,プレトレイン・アンド・ファインチューンパラダイムの下での刈り込みの有効性を初めて示す。
  論文  参考訳（メタデータ） (2021-10-15T16:42:56Z)
• Refining Deep Generative Models via Discriminator Gradient Flow [18.406499703293566]
  判別器グラディエントフロー (DGflow) は, エントロピー規則化されたf-ディバージェンスの勾配流を介して生成したサンプルを改善する新しい手法である。 DGflowは, 様々な生成モデルに対して, 生成したサンプルの品質を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-12-01T19:10:15Z)
• A Gradient Flow Framework For Analyzing Network Pruning [11.247894240593693]
  最近のネットワークプルーニング手法は、トレーニングの初期段階におけるプルーニングモデルに焦点を当てている。 モデルパラメータのノルムを通した重要度を統一するために勾配流を用いた一般的なフレームワークを開発する。 我々は,CIFAR-10/CIFAR-100でトレーニングしたVGG-13,MobileNet-V1,ResNet-56のいくつかのモデルについて検証を行った。
  論文  参考訳（メタデータ） (2020-09-24T17:37:32Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。