論文の概要: Less is More: The Influence of Pruning on the Explainability of CNNs
- arxiv url: http://arxiv.org/abs/2302.08878v1
- Date: Fri, 17 Feb 2023 13:50:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-20 14:44:17.113113
- Title: Less is More: The Influence of Pruning on the Explainability of CNNs
- Title(参考訳): より少ない: CNNの説明可能性に及ぼすプルーニングの影響
- Authors: David Weber, Florian Merkle, Pascal Sch\"ottle, Stephan Schl\"ogl
- Abstract要約: 本稿では,技術的複雑性の低減が説明可能性に寄与するかどうかを考察する。
圧縮率の低下は説明可能性に肯定的な影響を及ぼすが、圧縮率の上昇は否定的な影響を示す。
認識された説明可能性とモデルの性能の両方を増加させるスイートスポットを同定する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Modern, state-of-the-art Convolutional Neural Networks (CNNs) in computer
vision have millions of parameters. Thus, explaining the complex decisions of
such networks to humans is challenging. A technical approach to reduce CNN
complexity is network pruning, where less important parameters are deleted. The
work presented in this paper investigates whether this technical complexity
reduction also helps with perceived explainability. To do so, we conducted a
pre-study and two human-grounded experiments, assessing the effects of
different pruning ratios on CNN explainability. Overall, we evaluated four
different compression rates (i.e., CPR 2, 4, 8, and 32) with 37 500 tasks on
Mechanical Turk. Results indicate that lower compression rates have a positive
influence on explainability, while higher compression rates show negative
effects. Furthermore, we were able to identify sweet spots that increase both
the perceived explainability and the model's performance.
- Abstract(参考訳): コンピュータビジョンにおける最新の最先端畳み込みニューラルネットワーク(cnns)には、数百万のパラメータがある。
したがって、そのようなネットワークの複雑な決定を人間に説明することは困難である。
cnnの複雑さを減らす技術的アプローチはネットワークプラニングであり、重要なパラメータが削除される。
本稿では,この技術的複雑性の低減が説明可能性の認知に有効かどうかを考察する。
そこで我々は, プレスタディと2つの人間地上実験を行い, 異なるプルーニング比がCNN説明可能性に及ぼす影響を評価した。
全体として,メカニカル・ターク上で37500タスクからなる4つの異なる圧縮速度(cpr 2, 4, 8, 32)を評価した。
その結果, 圧縮速度の低下は説明可能性に肯定的な影響を及ぼし, 圧縮速度の上昇は否定的な影響を示した。
さらに,理解された説明可能性とモデルの性能を両立させるスイートスポットを識別できた。
関連論文リスト
- Towards Generalization in Subitizing with Neuro-Symbolic Loss using
Holographic Reduced Representations [49.22640185566807]
CogSci研究で使用される適応ツールは、CNNとViTのサブティナイズ一般化を改善することができることを示す。
学習におけるこの神経-記号的アプローチが,CNNやVTのサブティナイズ能力にどのように影響するかを検討する。
HRRに基づく損失が改善する一方の軸を除いて、ほとんどの点において、サブタイズにおいてViTはCNNと比較して著しく低下することがわかった。
論文 参考訳(メタデータ) (2023-12-23T17:54:03Z) - A simple connection from loss flatness to compressed representations in
neural networks [3.9901365062418312]
ディープニューラルネットワークの学習の最終段階において、ニューラルネットワークの多様体の圧縮は、SGDが探索したミニマのまわりの損失の平坦さと相関していることを示す。
この結果は,損失ヘッセンの小さな固有値によって特徴付けられる平坦性が,後期学習段階に発展し,ネットワーク入力の摂動に対する頑健性に寄与することを示すMaとYingの先行研究に基づいている。
論文 参考訳(メタデータ) (2023-10-03T03:36:29Z) - Investigating Human-Identifiable Features Hidden in Adversarial
Perturbations [54.39726653562144]
我々の研究では、最大5つの攻撃アルゴリズムを3つのデータセットにわたって探索する。
対人摂動における人間の識別可能な特徴を同定する。
画素レベルのアノテーションを用いて、そのような特徴を抽出し、ターゲットモデルに妥協する能力を実証する。
論文 参考訳(メタデータ) (2023-09-28T22:31:29Z) - The Multiscale Structure of Neural Network Loss Functions: The Effect on
Optimization and Origin [12.092361450994318]
本稿では,ニューラルネットワークの損失関数の構造とその2次近似の範囲を超えた領域における最適化への影響について検討する。
異なる大きさのトレーニングデータによって損失関数のスケールが異なることが示され、サブクワッドラティックな成長や複数の個別のスケールが生成される。
論文 参考訳(メタデータ) (2022-04-24T17:34:12Z) - Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討
信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。
一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
論文 参考訳(メタデータ) (2022-02-14T07:45:51Z) - Dynamical Isometry: The Missing Ingredient for Neural Network Pruning [65.59151170177664]
微調整学習率が大きいと、最終的なパフォーマンスが大幅に向上する。
本論文では,動的等方性レンズを用いて説明する。
プルーニングに関するより明確な理論的理解に加えて、問題の解決は実践においてかなりのパフォーマンス上のメリットをもたらす可能性がある。
論文 参考訳(メタデータ) (2021-05-12T19:20:09Z) - Contrastive Reasoning in Neural Networks [26.65337569468343]
因果クラス依存性を識別する機能に基づいて構築された推論は、フィードフォワード推論と呼ばれる。
本稿では,コントラスト推論の構造を形式化し,ニューラルネットワークのコントラスト概念を抽出する手法を提案する。
平均精度の3.47%、2.56%、5.48%の改善を報告することにより、歪み下での対比認識の価値を実証する。
論文 参考訳(メタデータ) (2021-03-23T05:54:36Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳(メタデータ) (2021-03-14T20:43:19Z) - Rescaling CNN through Learnable Repetition of Network Parameters [2.137666194897132]
CNNのパラメータの学習可能な反復に基づく新しい再スケーリング戦略を提案する。
小ベースネットワークが再スケールされると、より深いネットワークの最適化パラメータの6%以下で、より深いネットワークに匹敵するパフォーマンスを提供できることを示す。
論文 参考訳(メタデータ) (2021-01-14T15:03:25Z) - The FaceChannel: A Fast & Furious Deep Neural Network for Facial
Expression Recognition [71.24825724518847]
顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。
私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。
我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
論文 参考訳(メタデータ) (2020-09-15T09:25:37Z) - Adaptive Estimators Show Information Compression in Deep Neural Networks [2.578242050187029]
情報ボトルネック理論は、ニューラルネットワークがそれらの表現を圧縮し、タスクに関係のない情報を無視することで、優れた一般化を実現することを提案している。
本稿では,ニューラルネットワークの隠れ活動に適応する,より堅牢な相互情報推定手法を開発する。
本研究では, アクティベーション関数の飽和は圧縮に必要ではなく, 異なるアクティベーション関数間で圧縮量が異なることを示す。
論文 参考訳(メタデータ) (2019-02-24T23:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。