論文の概要: Which Layer Causes Distribution Deviation? Entropy-Guided Adaptive Pruning for Diffusion and Flow Models

• arxiv url: http://arxiv.org/abs/2511.21122v1
• Date: Wed, 26 Nov 2025 07:20:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:59.007412
• Title: Which Layer Causes Distribution Deviation? Entropy-Guided Adaptive Pruning for Diffusion and Flow Models
• Title（参考訳）: どの層が分布偏差を引き起こすか? 拡散流モデルと流れモデルのためのエントロピー誘導適応プルーニング
• Authors: Changlin Li, Jiawei Zhang, Zeyi Shi, Zongxin Yang, Zhihui Li, Xiaojun Chang,
• Abstract要約: EntPrunerは、拡散およびフローモデルのためのエントロピー誘導自動プログレッシブプルーニングフレームワークである。 DiTモデルとSiTモデルの実験はEntPrunerの有効性を示し、最大2.22$times$推論スピードアップを達成する。
• 参考スコア（独自算出の注目度）: 77.55829017952728
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large-scale vision generative models, including diffusion and flow models, have demonstrated remarkable performance in visual generation tasks. However, transferring these pre-trained models to downstream tasks often results in significant parameter redundancy. In this paper, we propose EntPruner, an entropy-guided automatic progressive pruning framework for diffusion and flow models. First, we introduce entropy-guided pruning, a block-level importance assessment strategy specifically designed for generative models. Unlike discriminative models, generative models require preserving the diversity and condition-fidelity of the output distribution. As the importance of each module can vary significantly across downstream tasks, EntPruner prioritizes pruning of less important blocks using data-dependent Conditional Entropy Deviation (CED) as a guiding metric. CED quantifies how much the distribution diverges from the learned conditional data distribution after removing a block. Second, we propose a zero-shot adaptive pruning framework to automatically determine when and how much to prune during training. This dynamic strategy avoids the pitfalls of one-shot pruning, mitigating mode collapse, and preserving model performance. Extensive experiments on DiT and SiT models demonstrate the effectiveness of EntPruner, achieving up to 2.22$\times$ inference speedup while maintaining competitive generation quality on ImageNet and three downstream datasets.
• Abstract（参考訳）: 拡散および流れモデルを含む大規模視覚生成モデルは、視覚生成タスクにおいて顕著な性能を示した。 しかし、これらの事前訓練されたモデルを下流タスクに転送すると、しばしばかなりのパラメータの冗長性が生じる。 本稿では,拡散流モデルのためのエントロピー誘導型自動プログレッシブプルーニングフレームワークEntPrunerを提案する。 まず,生成モデルに特化して設計されたブロックレベルの重要度評価戦略であるエントロピー誘導プルーニングを導入する。 判別モデルとは異なり、生成モデルは出力分布の多様性と条件忠実さを保存する必要がある。 各モジュールの重要性は下流のタスクによって大きく異なるため、EntPrunerはデータ依存のConditional Entropy Deviation(CED)を導く指標として、重要でないブロックのプルーニングを優先する。 CEDは、ブロックを削除した後、学習した条件データ分布からどのくらいの確率で分散するかを定量化する。 次に,ゼロショット適応型プルーニングフレームワークを提案する。 このダイナミック戦略は、ワンショットプルーニング、緩和モード崩壊、モデル性能の維持の落とし穴を避ける。 DiTとSiTモデルの大規模な実験はEntPrunerの有効性を示し、ImageNetと3つの下流データセットの競合生成品質を維持しながら、最大2.22$\times$推論スピードアップを達成する。

関連論文リスト

• On Designing Diffusion Autoencoders for Efficient Generation and Representation Learning [14.707830064594056]
  拡散オートエンコーダ(DA)は、入力依存の潜在変数を使用して、拡散過程と共に表現をキャプチャする。 より良い生成モデリングは、別のクラスの拡散モデル -- 前方(ノイズ)プロセスを学ぶもの -- の第一の目標です。
  論文  参考訳（メタデータ） (2025-05-30T18:14:09Z)
• Inference-Time Scaling for Flow Models via Stochastic Generation and Rollover Budget Forcing [25.50590395490414]
  本稿では,事前学習した流れモデルに対する推論時間スケーリング手法を提案する。 本稿では,SDE に基づく生成,特に分散保存型 (VP) 補間型 (VP) 生成は,フローモデルにおける推論時間スケーリングのための粒子サンプリング法を改善することを示す。
  論文  参考訳（メタデータ） (2025-03-25T06:30:45Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Sparse Model Soups: A Recipe for Improved Pruning via Model Averaging [24.64264715041198]
  Sparse Model Soups (SMS) は,各プルー・リトレインサイクルを前フェーズから平均モデルに開始することでスパースモデルをマージする新しい手法である。 SMSはスパース性を保ち、スパースネットワークの利点を悪用し、モジュール化され、完全に並列化可能であり、IMPのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2023-06-29T08:49:41Z)
• Structural Pruning for Diffusion Models [65.02607075556742]
  Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。 複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-18T12:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。