論文の概要: Investigating the Effect of Network Pruning on Performance and Interpretability
- arxiv url: http://arxiv.org/abs/2409.19727v1
- Date: Sun, 29 Sep 2024 14:57:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 21:19:41.251042
- Title: Investigating the Effect of Network Pruning on Performance and Interpretability
- Title（参考訳）: ネットワーク・プルーニングが性能と解釈可能性に及ぼす影響の検討
- Authors: Jonathan von Rad, Florian Seuffert,
- Abstract要約: 異なる刈り取り技術がGoogLeNetの分類性能と解釈性に与える影響について検討する。
我々は,反復的刈り込みやワンショット刈り込みなど,異なるトレーニング戦略を比較した。
十分な再学習エポックがあれば、ネットワークの性能はデフォルトのGoogLeNetの性能に近似できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Neural Networks (DNNs) are often over-parameterized for their tasks and can be compressed quite drastically by removing weights, a process called pruning. We investigate the impact of different pruning techniques on the classification performance and interpretability of GoogLeNet. We systematically apply unstructured and structured pruning, as well as connection sparsity (pruning of input weights) methods to the network and analyze the outcomes regarding the network's performance on the validation set of ImageNet. We also compare different retraining strategies, such as iterative pruning and one-shot pruning. We find that with sufficient retraining epochs, the performance of the networks can approximate the performance of the default GoogLeNet - and even surpass it in some cases. To assess interpretability, we employ the Mechanistic Interpretability Score (MIS) developed by Zimmermann et al. . Our experiments reveal that there is no significant relationship between interpretability and pruning rate when using MIS as a measure. Additionally, we observe that networks with extremely low accuracy can still achieve high MIS scores, suggesting that the MIS may not always align with intuitive notions of interpretability, such as understanding the basis of correct decisions.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、タスクに対して過度にパラメータ化され、重みを取り除くことで大幅に圧縮される、プルーニングと呼ばれるプロセスである。
異なる刈り取り技術がGoogLeNetの分類性能と解釈性に与える影響について検討する。
ネットワークに非構造的および構造的プルーニングと接続間隔(入力重みのプルーニング)手法を体系的に適用し、ImageNetの検証セット上でのネットワークの性能に関する結果を分析する。
また,反復刈り込みやワンショット刈り込みなど,異なるトレーニング戦略を比較した。
十分な再トレーニングエポックがあれば、ネットワークのパフォーマンスはデフォルトのGoogLeNetのパフォーマンスを近似することができます。
解釈可能性を評価するために、Zimmermannらが開発したメカニスティック解釈可能性スコア(MIS)を用いる。
実験の結果,MISを指標とした場合,解釈可能性とプルーニング率との間に有意な相関は認められなかった。
さらに、極めて低い精度のネットワークは高いMISスコアを達成でき、MISは正しい決定の基盤を理解するなど、直感的な解釈可能性の概念と常に一致するとは限らないことを示唆している。
関連論文リスト
- Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness [7.742297876120561]
ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。
従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。
本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
論文 参考訳（メタデータ） (2024-10-19T18:35:52Z) - Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。
具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。
そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
論文 参考訳（メタデータ） (2024-08-08T17:20:08Z) - Neural Network Pruning by Gradient Descent [7.427858344638741]
我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。
ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。
我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
論文 参考訳（メタデータ） (2023-11-21T11:12:03Z) - Influencer Detection with Dynamic Graph Neural Networks [56.1837101824783]
インフルエンサー検出のための動的グラフニューラルネットワーク(GNN)の構成について検討する。
GNNにおける深層多面的注意と時間特性の符号化が性能を著しく向上させることを示す。
論文 参考訳（メタデータ） (2022-11-15T13:00:25Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z) - Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
ターゲットネットワークは暗黙の正則化器として機能し、いくつかのケースでは有益であるが、欠点もある。
本稿では,フレキシブルな関数正規化法と関数空間における凸正規化法を提案する。
この結果から,機能正規化はTarget Networksのドロップイン代替として利用でき,結果として性能が向上することが示唆された。
論文 参考訳（メタデータ） (2021-06-04T17:21:07Z) - Lost in Pruning: The Effects of Pruning Neural Networks beyond Test
Accuracy [42.15969584135412]
ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。
試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。
刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
論文 参考訳（メタデータ） (2021-03-04T13:22:16Z) - Cascade Network with Guided Loss and Hybrid Attention for Finding Good
Correspondences [33.65360396430535]
画像対の対応セットが与えられた場合、バイナリクラス分類器によって正しい対応を見つけるニューラルネットワークを提案する。
対象関数を動的に調整するためのガイダンスとして評価基準(Fn測度)を直接利用できる新しいガイド付き損失を提案する。
次に、ベイズ文脈正規化(BACN)とチャネルワイドアテンション(CA)を統合した特徴抽出のためのハイブリッドアテンションブロックを提案する。
論文 参考訳（メタデータ） (2021-01-31T08:33:20Z) - Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。
本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
論文 参考訳（メタデータ） (2020-07-22T08:30:16Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。