論文の概要: Catalyst: a Novel Regularizer for Structured Pruning with Auxiliary Extension of Parameter Space

• arxiv url: http://arxiv.org/abs/2507.14170v1
• Date: Thu, 10 Jul 2025 13:10:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-27 08:26:15.935938
• Title: Catalyst: a Novel Regularizer for Structured Pruning with Auxiliary Extension of Parameter Space
• Title（参考訳）: 触媒:パラメータ空間を補助拡張した新規な構造化プルーニング用正則化器
• Authors: Jaeheun Jung, Donghun Lee,
• Abstract要約: 構造化プルーニングは、フィルタやチャネル全体を削除することによって、ディープニューラルネットワークのサイズと計算コストを削減することを目的としている。 提案した触媒正則化は、理論上証明可能なゼロバイアスを持つ各フィルタに対して、その大きさに対する公平なプルーニング確率を保証する。 様々なデータセットやモデル上でのプルーニング結果は、最先端のフィルタプルーニング法よりも優れている。
• 参考スコア（独自算出の注目度）: 3.2924107133234455
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Structured pruning aims to reduce the size and computational cost of deep neural networks by removing entire filters or channels. The traditional regularizers such as L1 or Group Lasso and its variants lead to magnitude-biased pruning decisions, such that the filters with small magnitudes are likely to be pruned. Also, they often entail pruning results with almost zero margin around pruning decision boundary, such that tiny perturbation in a filter magnitude can flip the pruning decision. In this paper, we identify the precise algebraic condition under which pruning operations preserve model performance, and use the condition to construct a novel regularizer defined in an extended parameter space via auxiliary catalyst variables. The proposed Catalyst regularization ensures fair pruning chance for each filters with theoretically provable zero bias to their magnitude and robust pruning behavior achieved by wide-margin bifurcation of magnitudes between the preserved and the pruned filters. The theoretical properties naturally lead to real-world effectiveness, as shown by empirical validations of Catalyst Pruning algorithm. Pruning results on various datasets and models are superior to state-of-the-art filter pruning methods, and at the same time confirm the predicted robust and fair pruning characteristics of Catalyst pruning.
• Abstract（参考訳）: 構造化プルーニングは、フィルタやチャネル全体を削除することによって、ディープニューラルネットワークのサイズと計算コストを削減することを目的としている。 L1 や Group Lasso のような伝統的な正規化器とその変種は、小さい等級のフィルタを刈り取るように、大きさに偏ったプルーニング決定をもたらす。 また、フィルタの大きさの小さな摂動がプルーニング決定を反転させるように、プルーニング決定境界付近でほぼゼロマージンのプルーニング結果を伴うこともしばしばある。 本稿では,プルーニング操作がモデル性能を保った正確な代数的条件を特定し,この条件を用いて,補助触媒変数を介して拡張パラメータ空間で定義された新しい正規化器を構築する。 提案した触媒正則化により, 保存フィルタとプルーニングフィルタ間の大域的分岐により得られる, 理論上証明可能な零偏差と頑健なプルーニング挙動に対して, それぞれのフィルタに対して公平にプルーニングを行うことが可能となる。 理論的性質は、Catalyst Pruningアルゴリズムの実証的な検証で示されているように、自然に実世界の有効性をもたらす。 種々のデータセットやモデル上でのプルーニング結果は,最先端のフィルタプルーニング法よりも優れており,同時に触媒プルーニングの予測された頑健かつ公平なプルーニング特性が確認されている。

関連論文リスト

• IPPRO: Importance-based Pruning with PRojective Offset for Magnitude-indifferent Structural Pruning [3.5565647225207297]
  重要度と多くの関連した近代的重要度基準は、しばしば刈り取り決定の能力を制限する。 本稿では,この支配的効果に挑戦する新しい刈り取り戦略を提案し,各フィルターの刈り取りに公正な機会を与える。 我々の研究は、プルーニングにおけるサイズマッターの神話を誇示し、重要ベースのプルーニングのフロンティアを広げている。
  論文  参考訳（メタデータ） (2025-07-10T13:26:24Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Toward domain generalized pruning by scoring out-of-distribution importance [19.26591372002258]
  フィルタプルーニングは、畳み込みニューラルネットワークの圧縮に広く使われ、デプロイメント段階での計算コストを削減している。 我々は、広範囲にわたる実験実験を行い、フィルタープルーニング後にドメイン内性能を維持できるが、クロスドメイン性能は大幅に低下することを明らかにした。 実験により,同じプルーニング比下では,ベースラインフィルタプルーニング法よりもクロスドメインの一般化性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-10-25T07:36:55Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs [69.3939291118954]
  非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している 標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。 既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
  論文  参考訳（メタデータ） (2022-03-15T11:50:45Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。