論文の概要: IPPRO: Importance-based Pruning with PRojective Offset for Magnitude-indifferent Structural Pruning

• arxiv url: http://arxiv.org/abs/2507.14171v2
• Date: Tue, 22 Jul 2025 05:37:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 15:16:11.949123
• Title: IPPRO: Importance-based Pruning with PRojective Offset for Magnitude-indifferent Structural Pruning
• Title（参考訳）: IPPRO:Projective Offsetを用いた重要度ベースプルーニングによるマグニチュード非微分構造プルーニング
• Authors: Jaeheun Jung, Jaehyuk Lee, Yeajin Lee, Donghun Lee,
• Abstract要約: 重要度と多くの関連した近代的重要度基準は、しばしば刈り取り決定の能力を制限する。 本稿では,この支配的効果に挑戦する新しい刈り取り戦略を提案し,各フィルターの刈り取りに公正な機会を与える。 我々の研究は、プルーニングにおけるサイズマッターの神話を誇示し、重要ベースのプルーニングのフロンティアを広げている。
• 参考スコア（独自算出の注目度）: 3.5565647225207297
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the growth of demand on neural network compression methods, the structured pruning methods including importance-based approach are actively studied. The magnitude importance and many correlated modern importance criteria often limit the capacity of pruning decision, since the filters with larger magnitudes are not likely to be pruned if the smaller one didn't, even if it is redundant. In this paper, we propose a novel pruning strategy to challenge this dominating effect of magnitude and provide fair chance to each filter to be pruned, by placing it on projective space. After that, we observe the gradient descent movement whether the filters move toward the origin or not, to measure how the filter is likely to be pruned. This measurement is used to construct PROscore, a novel importance score for IPPRO, a novel importance-based structured pruning with magnitude-indifference. Our evaluation results shows that the proposed importance criteria using the projective space achieves near-lossless pruning by reducing the performance drop in pruning, with promising performance after the finetuning. Our work debunks the ``size-matters'' myth in pruning and expands the frontier of importance-based pruning both theoretically and empirically.
• Abstract（参考訳）: ニューラルネットワーク圧縮手法の需要増加に伴い、重要度に基づくアプローチを含む構造化プルーニング手法が積極的に研究されている。 マグニチュードの重要度と多くの関連した近代的重要度基準は、たとえそれが冗長であっても、より大きい大きさのフィルターは、もし小さいフィルターがそうでなければ、プルーニングされないため、プルーニング決定のキャパシティを制限していることが多い。 本稿では,この大域的な支配的効果に挑戦し,各フィルタを射影空間に配置することで,各フィルタに公平な機会を与える新しいプルーニング戦略を提案する。 その後、フィルタが原点に向かって移動するか否かの勾配降下運動を観察し、フィルタがどのように切断されるかを測定する。 この測定は、IPPROの新たな重要性スコアであるProscoreを構築するために用いられる。 提案した重要度基準は, 微調整後の性能低下を低減し, ほぼ無作為なプルーニングを実現することができることを示す。 我々の研究は、プルーニングにおける「サイズ・マッターズ」の神話を論じ、理論上も経験的にも重要ベースのプルーニングのフロンティアを広げている。

関連論文リスト

• Catalyst: a Novel Regularizer for Structured Pruning with Auxiliary Extension of Parameter Space [3.2924107133234455]
  構造化プルーニングは、フィルタやチャネル全体を削除することによって、ディープニューラルネットワークのサイズと計算コストを削減することを目的としている。 提案した触媒正則化は、理論上証明可能なゼロバイアスを持つ各フィルタに対して、その大きさに対する公平なプルーニング確率を保証する。 様々なデータセットやモデル上でのプルーニング結果は、最先端のフィルタプルーニング法よりも優れている。
  論文  参考訳（メタデータ） (2025-07-10T13:10:02Z)
• How Sparse Can We Prune A Deep Network: A Fundamental Limit Viewpoint [3.4396642896512977]
  ネットワークプルーニングは、ディープニューラルネットワークの記憶と計算の負担を軽減するために一般的に使用される尺度である。 この研究は第一原理的アプローチ、すなわち損失関数に空間性制約を課し、凸幾何学における統計次元の枠組みを利用する。 刈り取り比の限界,すなわち重み度とネットワークシャープネスを決定する2つの要因を同定する。
  論文  参考訳（メタデータ） (2023-06-09T12:39:41Z)
• Toward domain generalized pruning by scoring out-of-distribution importance [19.26591372002258]
  フィルタプルーニングは、畳み込みニューラルネットワークの圧縮に広く使われ、デプロイメント段階での計算コストを削減している。 我々は、広範囲にわたる実験実験を行い、フィルタープルーニング後にドメイン内性能を維持できるが、クロスドメイン性能は大幅に低下することを明らかにした。 実験により,同じプルーニング比下では,ベースラインフィルタプルーニング法よりもクロスドメインの一般化性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-10-25T07:36:55Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)
• To Filter Prune, or to Layer Prune, That Is The Question [13.450136532402226]
  遅延低減の観点からフィルタプルーニング手法の限界を示す。 同様の精度でフィルタプルーニング法よりも高い遅延低減を実現するための,異なる基準に基づくレイヤプルーニング法を提案する。 LayerPruneはまた、ImageNetデータセットの同様の遅延予算に対して、Shufflenet、MobileNet、MNASNet、ResNet18などの手作りアーキテクチャを7.3%、4.6%、2.8%、0.5%で上回っている。
  論文  参考訳（メタデータ） (2020-07-11T02:51:40Z)
• Exploring Weight Importance and Hessian Bias in Model Pruning [55.75546858514194]
  我々は,重要な自然概念に基づいて,刈り取りの原理的探索を行う。 線形モデルの場合、この重要度の概念は、よく知られたヘッセン式プルーニングアルゴリズムに接続するスケーリングによって得られる。 より小さくなったにもかかわらず重みがより重要になるような設定を特定し、その結果、マグニチュードベースプルーニングの破滅的な失敗に繋がる。
  論文  参考訳（メタデータ） (2020-06-19T00:15:55Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。