論文の概要: Inf-CP: A Reliable Channel Pruning based on Channel Influence
- arxiv url: http://arxiv.org/abs/2112.02521v1
- Date: Sun, 5 Dec 2021 09:30:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 15:08:18.297193
- Title: Inf-CP: A Reliable Channel Pruning based on Channel Influence
- Title（参考訳）: Inf-CP:チャネル影響に基づく信頼性の高いチャネルプルーニング
- Authors: Bilan Lai, Haoran Xiang, Furao Shen
- Abstract要約: チャネルプルーニングの最も効果的な方法の1つは、各ニューロンの重要性に基づいてトリムを行うことである。
従来の研究は、単一層または複数の連続するニューロンの統計を考慮し、トリムすることを提案した。
我々は、アンサンブル学習を用いて、異なるデータバッチのモデルをトレーニングすることを提案する。
- 参考スコア（独自算出の注目度）: 4.692400531340393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the most effective methods of channel pruning is to trim on the basis
of the importance of each neuron. However, measuring the importance of each
neuron is an NP-hard problem. Previous works have proposed to trim by
considering the statistics of a single layer or a plurality of successive
layers of neurons. These works cannot eliminate the influence of different data
on the model in the reconstruction error, and currently, there is no work to
prove that the absolute values of the parameters can be directly used as the
basis for judging the importance of the weights. A more reasonable approach is
to eliminate the difference between batch data that accurately measures the
weight of influence. In this paper, we propose to use ensemble learning to
train a model for different batches of data and use the influence function (a
classic technique from robust statistics) to learn the algorithm to track the
model's prediction and return its training parameter gradient, so that we can
determine the responsibility for each parameter, which we call "influence", in
the prediction process. In addition, we theoretically prove that the
back-propagation of the deep network is a first-order Taylor approximation of
the influence function of the weights. We perform extensive experiments to
prove that pruning based on the influence function using the idea of ensemble
learning will be much more effective than just focusing on error
reconstruction. Experiments on CIFAR shows that the influence pruning achieves
the state-of-the-art result.
- Abstract（参考訳）: チャネルプラニングの最も効果的な方法の1つは、各ニューロンの重要性に基づいてトリミングすることである。
しかし、各ニューロンの重要性を測定することはNPハード問題である。
以前の研究では、1つの層または複数の連続したニューロン層の統計を考慮に入れてトリムを提案した。
これらの研究は、復元誤差におけるモデルに対する異なるデータの影響を排除することができず、現在、パラメータの絶対値が重みの重要度を判断する基盤として直接利用できることを示す作業は行われていない。
より合理的なアプローチは、影響の重みを正確に測定するバッチデータの違いを取り除くことである。
本稿では,異なるバッチデータに対するモデルの学習にアンサンブル学習を用い,モデルの予測を追跡し,学習パラメータ勾配を返すアルゴリズムを学習するインフルエンス関数(ロバスト統計学からの古典的な手法)を用いて,予測過程において各パラメータに対する責任を判定する手法を提案する。
さらに,ディープネットワークのバックプロパゲーションが重みの影響関数の一階テイラー近似であることを理論的に証明する。
我々は,アンサンブル学習のアイデアを用いた影響関数に基づくプルーニングが,単にエラー再構成に注目するよりもずっと効果的であることを示すために,広範な実験を行った。
CIFARの実験では、影響プルーニングが最先端の結果をもたらすことが示されている。
関連論文リスト
- Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。
提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。
DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
論文 参考訳（メタデータ） (2024-10-02T07:14:26Z) - Characterizing the Influence of Graph Elements [24.241010101383505]
グラフ畳み込みネットワーク(GCN)の影響関数は、入力グラフからトレーニングノード/エッジを除去する効果に光を当てることができる。
本研究では,SGCモデルの効果関数を用いて,トレーニングノードやエッジの除去がSGCのテスト性能に与える影響を,モデルの再学習を伴わずに評価できることを示した。
論文 参考訳（メタデータ） (2022-10-14T01:04:28Z) - If Influence Functions are the Answer, Then What is the Question? [7.873458431535409]
影響関数は、モデルの学習パラメータに対する1つのトレーニングデータポイントの除去の効果を効率的に推定する。
影響推定は線形モデルの残余再トレーニングとよく一致しているが、最近の研究では、ニューラルネットワークではこのアライメントが不十分であることが示されている。
論文 参考訳（メタデータ） (2022-09-12T16:17:43Z) - Causal Effect Estimation using Variational Information Bottleneck [19.6760527269791]
因果推論とは、介入が適用されるときの因果関係における因果効果を推定することである。
変分情報ボトルネック(CEVIB)を用いて因果効果を推定する手法を提案する。
論文 参考訳（メタデータ） (2021-10-26T13:46:12Z) - Causal Inference Under Unmeasured Confounding With Negative Controls: A
Minimax Learning Approach [84.29777236590674]
すべての共同設立者が観察されず、代わりに負の制御が利用可能である場合の因果パラメータの推定について検討する。
最近の研究は、2つのいわゆるブリッジ関数による同定と効率的な推定を可能にする方法を示している。
論文 参考訳（メタデータ） (2021-03-25T17:59:19Z) - FastIF: Scalable Influence Functions for Efficient Model Interpretation
and Debugging [112.19994766375231]
影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似する。
fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。
本実験はモデル解釈とモデル誤差の修正における影響関数の可能性を示す。
論文 参考訳（メタデータ） (2020-12-31T18:02:34Z) - Efficient Estimation of Influence of a Training Instance [56.29080605123304]
本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。
このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。
提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
論文 参考訳（メタデータ） (2020-12-08T04:31:38Z) - Multi-Stage Influence Function [97.19210942277354]
我々は、事前学習データまで遡って、微調整されたモデルから予測を追跡するための多段階影響関数スコアを開発する。
本研究は,2つのシナリオについて検討し,事前訓練した埋め込みを微調整タスクで固定または更新する。
論文 参考訳（メタデータ） (2020-07-17T16:03:11Z) - Influence Functions in Deep Learning Are Fragile [52.31375893260445]
影響関数は、テスト時間予測におけるサンプルの効果を近似する。
影響評価は浅いネットワークでは かなり正確です
ヘッセン正則化は、高品質な影響推定を得るために重要である。
論文 参考訳（メタデータ） (2020-06-25T18:25:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。