論文の概要: OFA-Diffusion Compression: Compressing Diffusion Model in One-Shot Manner
- arxiv url: http://arxiv.org/abs/2604.12668v1
- Date: Tue, 14 Apr 2026 12:39:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-15 19:11:32.447645
- Title: OFA-Diffusion Compression: Compressing Diffusion Model in One-Shot Manner
- Title（参考訳）: OFA拡散圧縮:ワンショットマニナにおける拡散モデル圧縮
- Authors: Haoyang Jiang, Zekun Wang, Mingyang Yi, Xiuyu Li, Lanqing Hu, Junxian Cai, Qingbin Liu, Xi Chen, Ju Fan,
- Abstract要約: 拡散確率モデル(DPM)は画像生成において顕著な性能を発揮する。
既存の文献は、モデル圧縮を通じて、固定されたアーキテクチャでより小さなモデルを取得することに焦点を当てている。
本稿では,DPMのための一括圧縮(OFA)フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 19.771011835343653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Diffusion Probabilistic Model (DPM) achieves remarkable performance in image generation, while its increasing parameter size and computational overhead hinder its deployment in practical applications. To improve this, the existing literature focuses on obtaining a smaller model with a fixed architecture through model compression. However, in practice, DPMs usually need to be deployed on various devices with different resource constraints, which leads to multiple compression processes, incurring significant overhead for repeated training. To obviate this, we propose a once-for-all (OFA) compression framework for DPMs that yields different subnetworks with various computations in a one-shot training manner. The existing OFA framework typically involves massive subnetworks with different parameter sizes, while such a huge candidate space slows the optimization. Thus, we propose to restrict the candidate subnetworks with a certain set of parameter sizes, where each size corresponds to a specific subnetwork. Specifically, to construct each subnetwork with a given size, we gradually allocate the maintained channels by their importance. Furthermore, we propose a reweighting strategy to balance the optimization process of different subnetworks. Experimental results show that our approach can produce compressed DPMs for various sizes with significantly lower training overhead while achieving satisfactory performance.
- Abstract（参考訳）: Diffusion Probabilistic Model (DPM) は画像生成において顕著な性能を達成する一方で,パラメータサイズの増加と計算オーバーヘッドの増大により,実用化に支障をきたす。
これを改善するため、既存の文献では、モデル圧縮を通じて、固定されたアーキテクチャでより小さなモデルを取得することに重点を置いている。
しかし、実際には、DPMは異なるリソース制約を持つさまざまなデバイスにデプロイする必要があるため、複数の圧縮プロセスが発生し、繰り返しトレーニングする上でかなりのオーバーヘッドが発生する。
そこで本研究では,DPMのための一括圧縮(OFA)フレームワークを提案する。
既存のOFAフレームワークは通常、パラメータサイズが異なる巨大なサブネットワークを伴い、そのような巨大な候補空間は最適化を遅らせる。
そこで本研究では,特定のサブネットワークに対応するパラメータサイズで候補サブネットワークを制限することを提案する。
具体的には、各サブネットワークを所定のサイズで構築するために、メンテナンスチャネルをその重要性によって徐々に割り当てる。
さらに,異なるサブネットワークの最適化プロセスのバランスをとるために,再重み付け戦略を提案する。
実験結果から,本手法は訓練のオーバーヘッドを大幅に低減し,良好な性能を実現しつつ,様々なサイズで圧縮DPMを生成できることが示唆された。
関連論文リスト
- Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。
ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。
MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。
ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
論文 参考訳（メタデータ） (2026-02-12T02:38:57Z) - Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。
この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。
各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
論文 参考訳（メタデータ） (2025-11-14T06:27:58Z) - Enhancing Delta Compression in LLMs via SVD-based Quantization Error Minimization [18.037215883638535]
我々は、特異値分解空間における量子化誤差を最小限に抑えるための適応型混合精度デルタ圧縮フレームワークであるDeltaMixを紹介する。
DeltaMixは、AIME2024やGQAといったタスクのベースラインメソッドを一貫して上回っている。
論文 参考訳（メタデータ） (2025-06-05T08:17:12Z) - Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。
線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。
本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
論文 参考訳（メタデータ） (2025-02-03T18:40:58Z) - DRPruning: Efficient Large Language Model Pruning through Distributionally Robust Optimization [59.96455188197593]
大きな言語モデル(LLM)は素晴らしい結果をもたらすが、モデルのサイズと計算コストの増加による課題に直面している。
DRPruningは、トレーニング中にデータ分散を動的に調整し、不均一なマルチタスクデータ間でのバランス性能を回復する手法である。
単言語および多言語設定の実験では、DRPランニングはプルーニングと継続トレーニングの両方において同様の大きさのモデルを上回ることが示されている。
論文 参考訳（メタデータ） (2024-11-21T12:02:39Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - Dynamic Encoder Size Based on Data-Driven Layer-wise Pruning for Speech Recognition [24.71497121634708]
可変サイズモデルは、異なるハードウェアおよび/またはアプリケーション制約下でASRシステムをデプロイするためにしばしば必要とされる。
動的エンコーダ・サイズ・アプローチを提案する。この手法は1つのスーパーネット内の複数のパフォーマンスモデルをスクラッチからトレーニングする。
論文 参考訳（メタデータ） (2024-07-10T08:35:21Z) - Sparsity-guided Network Design for Frame Interpolation [39.828644638174225]
フレームベースアルゴリズムのための圧縮駆動型ネットワーク設計を提案する。
モデルサイズを大幅に削減するために、スパーシリティ誘導最適化によるモデルプルーニングを活用する。
原型AdaCoFの4分の1の大きさで大幅な性能向上を実現しています。
論文 参考訳（メタデータ） (2022-09-09T23:13:25Z) - OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization [32.60139548889592]
本稿では,新しいワンショットプルーニング量子化(OPQ)を提案する。
OPQは、事前訓練された重みパラメータのみによる圧縮割り当てを解析的に解決する。
本稿では,共通コードブックを共有するために各レイヤの全チャネルを強制する,統一的なチャネルワイド量子化手法を提案する。
論文 参考訳（メタデータ） (2022-05-23T09:05:25Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。