論文の概要: Less is More: The Influence of Pruning on the Explainability of CNNs

• arxiv url: http://arxiv.org/abs/2302.08878v3
• Date: Tue, 14 Jan 2025 12:53:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:02:19.552677
• Title: Less is More: The Influence of Pruning on the Explainability of CNNs
• Title（参考訳）: より少ない: CNNの説明可能性に及ぼすプルーニングの影響
• Authors: Florian Merkle, David Weber, Pascal Schöttle, Stephan Schlögl, Martin Nocker,
• Abstract要約: ディープラーニングモデルは数百万のパラメータを持ち、2つの大きな課題を提示します。 本稿では,この技術的複雑性の低減が説明可能性の認知に有効かどうかを考察する。
• 参考スコア（独自算出の注目度）: 0.4812685654811027
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Over the last century, deep learning models have become the state-of-the-art for solving complex computer vision problems. These modern computer vision models have millions of parameters, which presents two major challenges: (1) the increased computational requirements hamper the deployment in resource-constrained environments, such as mobile or IoT devices, and (2) explaining the complex decisions of such networks to humans is challenging. Network pruning is a technical approach to reduce the complexity of models, where less important parameters are removed. The work presented in this paper investigates whether this reduction in technical complexity also helps with perceived explainability. To do so, we conducted a pre-study and two human-grounded experiments, assessing the effects of different pruning ratios on explainability. Overall, we evaluate four different compression rates (i.e., 2, 4, 8, and 32) with 37 500 tasks on Mechanical Turk. Results indicate that lower compression rates have a positive influence on explainability, while higher compression rates show negative effects. Furthermore, we were able to identify sweet spots that increase both the perceived explainability and the model's performance.
• Abstract（参考訳）: この1世紀で、ディープラーニングモデルは複雑なコンピュータビジョン問題を解決する最先端のモデルとなった。 現代のコンピュータビジョンモデルには数百万のパラメータがあり、1) 計算要求の増大により、モバイルやIoTデバイスなどのリソース制約のある環境への展開が妨げられ、2) そのようなネットワークの複雑な決定を人間に説明することは困難である。 ネットワークプルーニング(Network pruning)は、重要でないパラメータを除去する、モデルの複雑さを低減するための技術的アプローチである。 本稿では,この技術的複雑性の低減が説明可能性の認知に有効かどうかを考察する。 そこで我々は,プレスタディと2つの人間地上実験を行い,異なるプルーニング比が説明可能性に及ぼす影響を評価した。 メカニカル・トルクでは,4つの異なる圧縮速度 (2, 4, 8, 32) と37500のタスクをそれぞれ評価した。 その結果, 圧縮速度の低下は説明可能性に肯定的な影響を及ぼし, 圧縮速度の上昇は否定的な影響を示した。 さらに、認識された説明可能性とモデルの性能の両方を増加させるスイートスポットを特定できた。

関連論文リスト

• The Other Side of the Coin: Unveiling the Downsides of Model Aggregation in Federated Learning from a Layer-peeled Perspective [12.916988821333124]
  FL(Federated Learning)では、複数のクライアントが知識を相互に共有する上で、モデルアグリゲーションが重要なステップとなります。 この一時的な性能低下は、FLモデルの収束を遅くする可能性がある。 本稿では,モデルアグリゲーションの負の影響を軽減するための,単純かつ効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-05T14:45:56Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Empirical influence functions to understand the logic of fine-tuning [1.9116784879310031]
  微調整を用いて測定した経験的影響を用いて,個別のトレーニングサンプルがアウトプットに与える影響を実証する。 これらのデシダラタは、単純な畳み込みネットワークと現代のLLMの両方に違反していることを示す。 この結果から,一般的なモデルでは論理を一般化・実行できないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-01T17:31:06Z)
• Understanding and Improving CNNs with Complex Structure Tensor: A Biometrics Study [47.03015281370405]
  本研究では,コンパクトな配向特徴を持つ複合構造を用いることで,グレースケール入力のみを使用する場合と比較して,識別精度が向上することを示す。 このことは、哺乳類の視界で見られる戦略であるCNNにおける配向機能の事前利用が、それらの制限を緩和するだけでなく、その説明可能性や細い自転車との関連性を高めることを示唆している。
  論文  参考訳（メタデータ） (2024-04-24T02:51:13Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Neural Causal Abstractions [63.21695740637627]
  我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。 本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。 本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
  論文  参考訳（メタデータ） (2024-01-05T02:00:27Z)
• Towards Generalization in Subitizing with Neuro-Symbolic Loss using Holographic Reduced Representations [49.22640185566807]
  CogSci研究で使用される適応ツールは、CNNとViTのサブティナイズ一般化を改善することができることを示す。 学習におけるこの神経-記号的アプローチが,CNNやVTのサブティナイズ能力にどのように影響するかを検討する。 HRRに基づく損失が改善する一方の軸を除いて、ほとんどの点において、サブタイズにおいてViTはCNNと比較して著しく低下することがわかった。
  論文  参考訳（メタデータ） (2023-12-23T17:54:03Z)
• A simple connection from loss flatness to compressed representations in neural networks [3.5502600490147196]
  ディープニューラルネットワークにおける学習の最終段階において、ニューラルネットワークの多様体の圧縮は、SGDが探索したミニマのまわりの損失の平坦さと相関することを示す。 我々の研究はMaとYingによる線形安定性の洞察に基づいており、様々な圧縮測定値と鋭さを含む量の不等式を導出する。
  論文  参考訳（メタデータ） (2023-10-03T03:36:29Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• Investigating Human-Identifiable Features Hidden in Adversarial Perturbations [54.39726653562144]
  我々の研究では、最大5つの攻撃アルゴリズムを3つのデータセットにわたって探索する。 対人摂動における人間の識別可能な特徴を同定する。 画素レベルのアノテーションを用いて、そのような特徴を抽出し、ターゲットモデルに妥協する能力を実証する。
  論文  参考訳（メタデータ） (2023-09-28T22:31:29Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• Interpretable Computer Vision Models through Adversarial Training: Unveiling the Robustness-Interpretability Connection [0.0]
  解釈可能性は、モデルを現実世界にデプロイする際には、堅牢性と同じくらい不可欠です。 標準モデルは、ロバストと比較して敵の攻撃に対してより感受性が高く、その学習された表現は人間にはあまり意味がない。
  論文  参考訳（メタデータ） (2023-07-04T13:51:55Z)
• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)
• Stop ordering machine learning algorithms by their explainability! A user-centered investigation of performance and explainability [0.0]
  機械学習アルゴリズムのモデル性能と説明可能性のトレードオフについて検討する。 エンドユーザの認識では、トレードオフは徐々に減少しています。 第2の実験の結果、説明可能な人工知能の強化は説明可能性を高めるのに有効であるが、このタイプの説明はエンドユーザの知覚に不可欠な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2022-06-20T08:32:38Z)
• The Multiscale Structure of Neural Network Loss Functions: The Effect on Optimization and Origin [12.092361450994318]
  本稿では,ニューラルネットワークの損失関数の構造とその2次近似の範囲を超えた領域における最適化への影響について検討する。 異なる大きさのトレーニングデータによって損失関数のスケールが異なることが示され、サブクワッドラティックな成長や複数の個別のスケールが生成される。
  論文  参考訳（メタデータ） (2022-04-24T17:34:12Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Contrastive Reasoning in Neural Networks [26.65337569468343]
  因果クラス依存性を識別する機能に基づいて構築された推論は、フィードフォワード推論と呼ばれる。 本稿では,コントラスト推論の構造を形式化し,ニューラルネットワークのコントラスト概念を抽出する手法を提案する。 平均精度の3.47%、2.56%、5.48%の改善を報告することにより、歪み下での対比認識の価値を実証する。
  論文  参考訳（メタデータ） (2021-03-23T05:54:36Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• The FaceChannel: A Fast & Furious Deep Neural Network for Facial Expression Recognition [71.24825724518847]
  顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。 私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。 我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
  論文  参考訳（メタデータ） (2020-09-15T09:25:37Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Adaptive Estimators Show Information Compression in Deep Neural Networks [2.578242050187029]
  情報ボトルネック理論は、ニューラルネットワークがそれらの表現を圧縮し、タスクに関係のない情報を無視することで、優れた一般化を実現することを提案している。 本稿では,ニューラルネットワークの隠れ活動に適応する,より堅牢な相互情報推定手法を開発する。 本研究では, アクティベーション関数の飽和は圧縮に必要ではなく, 異なるアクティベーション関数間で圧縮量が異なることを示す。
  論文  参考訳（メタデータ） (2019-02-24T23:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。