論文の概要: Prune-then-Quantize or Quantize-then-Prune? Understanding the Impact of Compression Order in Joint Model Compression

• arxiv url: http://arxiv.org/abs/2603.18426v1
• Date: Thu, 19 Mar 2026 02:40:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.92398
• Title: Prune-then-Quantize or Quantize-then-Prune? Understanding the Impact of Compression Order in Joint Model Compression
• Title（参考訳）: Prune-then-QuantizeかQuantize-then-Pruneか? : 共同モデル圧縮における圧縮順序の影響を理解する
• Authors: Minjun Kim, Jaehyeon Choi, Hyunwoo Yang, Jongjin Kim, Jinho Song, U Kang,
• Abstract要約: 連成モデル圧縮は、プルーニングや量子化といった複数の手法を組み合わせることで、より高い効率を達成するための強力な戦略である。 ジョイントモデル圧縮における中心的だが未探索の要素は、圧縮順序または圧縮パイプライン内の異なるメソッドのシーケンスである。
• 参考スコア（独自算出の注目度）: 16.625053009148306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What happens when multiple compression methods are combined-does the order in which they are applied matter? Joint model compression has emerged as a powerful strategy to achieve higher efficiency by combining multiple methods such as pruning and quantization. A central but underexplored factor in joint model compression is the compression order, or the sequence of different methods within the compression pipeline. Most prior studies have either sidestepped the issue by assuming orthogonality between techniques, while a few have examined them only in highly constrained cases. Consequently, the broader role of compression order in shaping model performance remains poorly understood. In this paper, we address the overlooked problem of compression order and provide both theoretical and empirical analysis. We formulate the problem of optimizing the compression order and introduce the Progressive Intensity Hypothesis, which states that weaker perturbations should precede stronger ones. We provide theoretical guarantees showing that the relative benefit of one order increases with the underlying performance gap. Extensive experiments on both language and vision models validate the hypothesis, and further show its generality to broader setups such as multi-stage compression and mixed-precision quantization.
• Abstract（参考訳）: 複数の圧縮手法が組み合わせられた場合、それらが適用される順序はどうなるのか? 連成モデル圧縮は、プルーニングや量子化といった複数の手法を組み合わせることで、より高い効率を達成するための強力な戦略として登場した。 ジョイントモデル圧縮における中心的だが未探索の要素は、圧縮順序または圧縮パイプライン内の異なるメソッドのシーケンスである。 これまでのほとんどの研究は、技術間の直交性を仮定することで、この問題を横取りしてきたが、一部の研究は、高度に制約されたケースでのみそれらを検証した。 その結果, モデル性能のモデル化における圧縮順序の広範な役割は, いまだに理解されていない。 本稿では,圧縮順序の見過ごされた問題に対処し,理論的および経験的解析の両方を提供する。 圧縮順序を最適化する問題を定式化し、より弱い摂動がより強いものより先行することを示すプログレッシブ・インテンシティ仮説を導入する。 提案手法は, 性能差によって一階の相対的利益が増大することを示す理論的保証を提供する。 言語モデルと視覚モデルの両方での広範な実験により仮説が検証され、さらに多段圧縮や混合精度量子化といったより広範な設定への一般化が示される。

関連論文リスト

• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Problem-dependent convergence bounds for randomized linear gradient compression [4.656302602746228]
  目的関数に関連する収束に対する圧縮の影響について検討する。 圧縮が収束に与える影響は, 目的関数に付随する量化行列で表すことができる。
  論文  参考訳（メタデータ） (2024-11-19T22:26:42Z)
• Order of Compression: A Systematic and Optimal Sequence to Combinationally Compress CNN [5.25545980258284]
  本稿では,複数の圧縮手法を最も効率的な順序で適用するための,体系的かつ最適なシーケンスを提案する。 提案手法では,ResNet34の計算コストを最大859倍に削減する。 我々は, モデル圧縮の行程をシンプルかつ効果的に探索することで, モデル圧縮の実践に光を当てることができると考えている。
  論文  参考訳（メタデータ） (2024-03-26T07:26:00Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Compression of Generative Pre-trained Language Models via Quantization [62.80110048377957]
  従来の量子化手法は, テクスモジニアス単語の埋め込みによって生成タスクに失敗することがわかった。 本稿では,区別可能な単語埋め込みを学習するためのトークンレベルのコントラスト蒸留法と,異なるモジュールに対して量子化器を適応させるモジュールワイドダイナミックスケーリングを提案する。
  論文  参考訳（メタデータ） (2022-03-21T02:11:35Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。