論文の概要: Less is More: The Influence of Pruning on the Explainability of CNNs

• arxiv url: http://arxiv.org/abs/2302.08878v3
• Date: Tue, 14 Jan 2025 12:53:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:26:56.890444
• Title: Less is More: The Influence of Pruning on the Explainability of CNNs
• Title（参考訳）: より少ない: CNNの説明可能性に及ぼすプルーニングの影響
• Authors: Florian Merkle, David Weber, Pascal Schöttle, Stephan Schlögl, Martin Nocker,
• Abstract要約: ディープラーニングモデルは数百万のパラメータを持ち、2つの大きな課題を提示します。 本稿では,この技術的複雑性の低減が説明可能性の認知に有効かどうかを考察する。
• 参考スコア（独自算出の注目度）: 0.4812685654811027
• License:
• Abstract: Over the last century, deep learning models have become the state-of-the-art for solving complex computer vision problems. These modern computer vision models have millions of parameters, which presents two major challenges: (1) the increased computational requirements hamper the deployment in resource-constrained environments, such as mobile or IoT devices, and (2) explaining the complex decisions of such networks to humans is challenging. Network pruning is a technical approach to reduce the complexity of models, where less important parameters are removed. The work presented in this paper investigates whether this reduction in technical complexity also helps with perceived explainability. To do so, we conducted a pre-study and two human-grounded experiments, assessing the effects of different pruning ratios on explainability. Overall, we evaluate four different compression rates (i.e., 2, 4, 8, and 32) with 37 500 tasks on Mechanical Turk. Results indicate that lower compression rates have a positive influence on explainability, while higher compression rates show negative effects. Furthermore, we were able to identify sweet spots that increase both the perceived explainability and the model's performance.
• Abstract（参考訳）: この1世紀で、ディープラーニングモデルは複雑なコンピュータビジョン問題を解決する最先端のモデルとなった。 現代のコンピュータビジョンモデルには数百万のパラメータがあり、1) 計算要求の増大により、モバイルやIoTデバイスなどのリソース制約のある環境への展開が妨げられ、2) そのようなネットワークの複雑な決定を人間に説明することは困難である。 ネットワークプルーニング(Network pruning)は、重要でないパラメータを除去する、モデルの複雑さを低減するための技術的アプローチである。 本稿では,この技術的複雑性の低減が説明可能性の認知に有効かどうかを考察する。 そこで我々は,プレスタディと2つの人間地上実験を行い,異なるプルーニング比が説明可能性に及ぼす影響を評価した。 メカニカル・トルクでは,4つの異なる圧縮速度 (2, 4, 8, 32) と37500のタスクをそれぞれ評価した。 その結果, 圧縮速度の低下は説明可能性に肯定的な影響を及ぼし, 圧縮速度の上昇は否定的な影響を示した。 さらに、認識された説明可能性とモデルの性能の両方を増加させるスイートスポットを特定できた。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Empirical influence functions to understand the logic of fine-tuning [1.9116784879310031]
  微調整を用いて測定した経験的影響を用いて,個別のトレーニングサンプルがアウトプットに与える影響を実証する。 これらのデシダラタは、単純な畳み込みネットワークと現代のLLMの両方に違反していることを示す。 この結果から,一般的なモデルでは論理を一般化・実行できないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-01T17:31:06Z)
• Understanding and Improving CNNs with Complex Structure Tensor: A Biometrics Study [47.03015281370405]
  本研究では,コンパクトな配向特徴を持つ複合構造を用いることで,グレースケール入力のみを使用する場合と比較して,識別精度が向上することを示す。 このことは、哺乳類の視界で見られる戦略であるCNNにおける配向機能の事前利用が、それらの制限を緩和するだけでなく、その説明可能性や細い自転車との関連性を高めることを示唆している。
  論文  参考訳（メタデータ） (2024-04-24T02:51:13Z)
• Towards Generalization in Subitizing with Neuro-Symbolic Loss using Holographic Reduced Representations [49.22640185566807]
  CogSci研究で使用される適応ツールは、CNNとViTのサブティナイズ一般化を改善することができることを示す。 学習におけるこの神経-記号的アプローチが,CNNやVTのサブティナイズ能力にどのように影響するかを検討する。 HRRに基づく損失が改善する一方の軸を除いて、ほとんどの点において、サブタイズにおいてViTはCNNと比較して著しく低下することがわかった。
  論文  参考訳（メタデータ） (2023-12-23T17:54:03Z)
• A simple connection from loss flatness to compressed representations in neural networks [3.5502600490147196]
  ディープニューラルネットワークにおける学習の最終段階において、ニューラルネットワークの多様体の圧縮は、SGDが探索したミニマのまわりの損失の平坦さと相関することを示す。 我々の研究はMaとYingによる線形安定性の洞察に基づいており、様々な圧縮測定値と鋭さを含む量の不等式を導出する。
  論文  参考訳（メタデータ） (2023-10-03T03:36:29Z)
• The Multiscale Structure of Neural Network Loss Functions: The Effect on Optimization and Origin [12.092361450994318]
  本稿では,ニューラルネットワークの損失関数の構造とその2次近似の範囲を超えた領域における最適化への影響について検討する。 異なる大きさのトレーニングデータによって損失関数のスケールが異なることが示され、サブクワッドラティックな成長や複数の個別のスケールが生成される。
  論文  参考訳（メタデータ） (2022-04-24T17:34:12Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• The FaceChannel: A Fast & Furious Deep Neural Network for Facial Expression Recognition [71.24825724518847]
  顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。 私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。 我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
  論文  参考訳（メタデータ） (2020-09-15T09:25:37Z)
• Adaptive Estimators Show Information Compression in Deep Neural Networks [2.578242050187029]
  情報ボトルネック理論は、ニューラルネットワークがそれらの表現を圧縮し、タスクに関係のない情報を無視することで、優れた一般化を実現することを提案している。 本稿では,ニューラルネットワークの隠れ活動に適応する,より堅牢な相互情報推定手法を開発する。 本研究では, アクティベーション関数の飽和は圧縮に必要ではなく, 異なるアクティベーション関数間で圧縮量が異なることを示す。
  論文  参考訳（メタデータ） (2019-02-24T23:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。