論文の概要: Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence

• arxiv url: http://arxiv.org/abs/2509.21387v3
• Date: Sun, 05 Oct 2025 20:06:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 14:28:10.778601
• Title: Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence
• Title（参考訳）: スパース・サブネットは認知的意識を抑えるか? プルーニングがサリエンシマップの忠実度, 疎度, 概念コヒーレンスに及ぼす影響
• Authors: Sanish Suwal, Dipkamal Bhusal, Michael Clifford, Nidhi Rastogi,
• Abstract要約: 等級ベースプルーニングと微調整が低レベルのサリエンシマップと高レベルの概念表現の両方にどのように影響するかを検討する。 以上の結果から,軽質でモデレートなプルーニングは,意味論的に意味のある概念を維持しつつ,サリエンシ・マップの焦点と忠実さを向上させることが示唆された。 対照的に、アグレッシブプルーニングは不均一な特徴をマージし、精度を維持しながら、サリエンシマップの間隔とコンセプトコヒーレンスを低減する。
• 参考スコア（独自算出の注目度）: 2.7415651415305597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior works have shown that neural networks can be heavily pruned while preserving performance, but the impact of pruning on model interpretability remains unclear. In this work, we investigate how magnitude-based pruning followed by fine-tuning affects both low-level saliency maps and high-level concept representations. Using a ResNet-18 trained on ImageNette, we compare post-hoc explanations from Vanilla Gradients (VG) and Integrated Gradients (IG) across pruning levels, evaluating sparsity and faithfulness. We further apply CRAFT-based concept extraction to track changes in semantic coherence of learned concepts. Our results show that light-to-moderate pruning improves saliency-map focus and faithfulness while retaining distinct, semantically meaningful concepts. In contrast, aggressive pruning merges heterogeneous features, reducing saliency map sparsity and concept coherence despite maintaining accuracy. These findings suggest that while pruning can shape internal representations toward more human-aligned attention patterns, excessive pruning undermines interpretability.
• Abstract（参考訳）: 以前の研究では、ニューラルネットワークは性能を保ちながら強く刈り取られることが示されているが、プルーニングがモデル解釈性に与える影響はいまだ不明である。 本研究では,スケールベースプルーニングと微調整が,低レベルサリエンシマップと高レベル概念表現の両方に与える影響について検討する。 ImageNetteでトレーニングされたResNet-18を用いて、Vanilla Gradients(VG)とIntegrated Gradients(IG)のポストホックな説明をプルーニングレベルにわたって比較し、疎さと忠実さを評価した。 さらに,学習概念のセマンティックコヒーレンスの変化を追跡するために,CRAFTに基づく概念抽出を適用した。 以上の結果から,軽質でモデレートなプルーニングは,意味論的に意味のある概念を維持しつつ,サリエンシ・マップの焦点と忠実さを向上させることが示唆された。 対照的に、アグレッシブプルーニングは不均一な特徴をマージし、精度を維持しながら、サリエンシマップの間隔とコンセプトコヒーレンスを低減する。 以上の結果から, 刈り込みは, より人間に近い注意パターンに対して内部表現を形成することができるが, 過度の刈り込みは解釈可能性を高めることが示唆された。

関連論文リスト

• Pulling Back the Curtain on ReLU Networks [0.0]
  より深いニューロンの勾配は ミスアライメントで知られています ネットワークの内部表現を曖昧にします 後方通過のみにソフトゲーティングを施すことにより、弱い励起ニューロンの局所的な影響を減少させることで、これを証明した。 結果として得られた変化した勾配は「励起プルバック」と呼ばれ、顕著な知覚的アライメントを示す。
  論文  参考訳（メタデータ） (2025-07-30T16:47:42Z)
• Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification [3.9626211140865464]
  近年,畳み込みニューラルネットワーク(CNN)のパフォーマンスが大幅に向上している。 しかし、そのサイズと複雑さのため、ブラックボックスとして機能し、透明性の懸念につながります。 本稿では,これらの手法間のギャップを埋めることを目的とした,ポストホックな説明可能性フレームワークであるVisual-TCAVを紹介する。
  論文  参考訳（メタデータ） (2024-11-08T16:52:52Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency [61.40511574314069]
  バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。 CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
  論文  参考訳（メタデータ） (2021-06-20T08:20:56Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。