論文の概要: Influence Function Based Second-Order Channel Pruning-Evaluating True
Loss Changes For Pruning Is Possible Without Retraining
- arxiv url: http://arxiv.org/abs/2308.06755v1
- Date: Sun, 13 Aug 2023 12:23:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 15:36:38.728398
- Title: Influence Function Based Second-Order Channel Pruning-Evaluating True
Loss Changes For Pruning Is Possible Without Retraining
- Title（参考訳）: 影響関数に基づく第2次チャネルプルーニング-プルーニングにおける真の損失変化の評価-
- Authors: Hongrong Cheng, Miao Zhang, Javen Qinfeng Shi
- Abstract要約: 我々は,再訓練をせずに真の損失変化を評価する手法を開発した。
我々は,全てのチャネルの重要性を同時に評価する方法を示し,新しいグローバルチャネルプルーニングアルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 23.5549895791289
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A challenge of channel pruning is designing efficient and effective criteria
to select channels to prune. A widely used criterion is minimal performance
degeneration. To accurately evaluate the truth performance degeneration
requires retraining the survived weights to convergence, which is prohibitively
slow. Hence existing pruning methods use previous weights (without retraining)
to evaluate the performance degeneration. However, we observe the loss changes
differ significantly with and without retraining. It motivates us to develop a
technique to evaluate true loss changes without retraining, with which channels
to prune can be selected more reliably and confidently. We first derive a
closed-form estimator of the true loss change per pruning mask change, using
influence functions without retraining. Influence function which is from robust
statistics reveals the impacts of a training sample on the model's prediction
and is repurposed by us to assess impacts on true loss changes. We then show
how to assess the importance of all channels simultaneously and develop a novel
global channel pruning algorithm accordingly. We conduct extensive experiments
to verify the effectiveness of the proposed algorithm. To the best of our
knowledge, we are the first that shows evaluating true loss changes for pruning
without retraining is possible. This finding will open up opportunities for a
series of new paradigms to emerge that differ from existing pruning methods.
The code is available at https://github.com/hrcheng1066/IFSO.
- Abstract（参考訳）: チャネルプルーニングの課題は、プルーンのチャネルを選択するための効率的で効果的な基準を設計することである。
広く使われている基準は、最小の性能劣化である。
真実性能劣化を正確に評価するには、残余重量を再訓練する必要があるが、これは極めて遅い。
したがって、既存のプルーニング法は(再トレーニングなしで)以前の重量を使って性能劣化を評価する。
しかし,再トレーニングを伴わずとも損失の変化は著しく異なる。
再訓練をせずに真の損失変化を評価する手法を開発し、より確実かつ確実にプーンチャネルを選択できるようにする。
まず, 再学習を伴わない影響関数を用いて, プルーニングマスク変化時の真の損失変化の閉形式推定器を導出する。
ロバストな統計から得られる影響関数は、トレーニングサンプルがモデルの予測に与える影響を明らかにし、真の損失変化に対する影響を評価するために、我々が再利用する。
次に,全チャネルの重要性を同時に評価する方法を示し,それに応じて新たなグローバルチャネルプルーニングアルゴリズムを開発する。
提案アルゴリズムの有効性を検証するため,広範囲な実験を行った。
私たちの知る限りでは、リトレーニングなしで刈り取るための真の損失変化を評価することは可能です。
この発見は、既存の刈り取り方法とは異なる一連の新しいパラダイムが出現する機会を開くだろう。
コードはhttps://github.com/hrcheng1066/ifsoで入手できる。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Task-Robust Pre-Training for Worst-Case Downstream Adaptation [62.05108162160981]
プレトレーニングは下流のタスクに移行することで大きな成功を収めた。
本稿では,下流タスクに対する一様性能を保証するモデルについて,事前学習について考察する。
論文 参考訳（メタデータ） (2023-06-21T07:43:23Z) - CHEX: CHannel EXploration for CNN Model Compression [47.3520447163165]
本稿では,これらの問題を是正するために,CHEXと呼ばれる新しいチャネル探索手法を提案する。
CheXはトレーニングプロセスを通じてチャネルを繰り返しプーンして再成長させ、重要なチャネルを早期にプルーニングするリスクを低減させる。
CHEXは様々なコンピュータビジョンタスクにおいて,多様なCNNアーキテクチャのFLOPを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2022-03-29T17:52:41Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳（メタデータ） (2022-03-23T06:24:31Z) - Inf-CP: A Reliable Channel Pruning based on Channel Influence [4.692400531340393]
チャネルプルーニングの最も効果的な方法の1つは、各ニューロンの重要性に基づいてトリムを行うことである。
従来の研究は、単一層または複数の連続するニューロンの統計を考慮し、トリムすることを提案した。
我々は、アンサンブル学習を用いて、異なるデータバッチのモデルをトレーニングすることを提案する。
論文 参考訳（メタデータ） (2021-12-05T09:30:43Z) - AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。
AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。
ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
論文 参考訳（メタデータ） (2021-09-14T01:52:05Z) - Pruning with Compensation: Efficient Channel Pruning for Deep
Convolutional Neural Networks [0.9712140341805068]
刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。
本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
論文 参考訳（メタデータ） (2021-08-31T10:17:36Z) - Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。
ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。
おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
論文 参考訳（メタデータ） (2021-06-19T02:09:25Z) - Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot [55.37967301483917]
従来のプルーニングアルゴリズムの知恵は、プルーニング手法がトレーニングデータから情報を利用して良い作品を見つけることを示唆している。
本稿では,近年の非構造的刈り取り法について,上記の信念の正当性チェックを行う。
本稿では,各層に対して単純なデータに依存しないプーン比を提案し,サブネットワークを得るために各層をランダムにプーンする。
論文 参考訳（メタデータ） (2020-09-22T17:36:17Z) - An Equivalence between Loss Functions and Non-Uniform Sampling in
Experience Replay [72.23433407017558]
非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。
驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
論文 参考訳（メタデータ） (2020-07-12T17:45:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。