論文の概要: Neuron-based explanations of neural networks sacrifice completeness and interpretability

• arxiv url: http://arxiv.org/abs/2011.03043v3
• Date: Wed, 19 Mar 2025 16:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-23 15:24:31.230033
• Title: Neuron-based explanations of neural networks sacrifice completeness and interpretability
• Title（参考訳）: ニューラルネットワークのニューロンに基づく説明は完全性と解釈性を犠牲にする
• Authors: Nolan Dey, Eric Taylor, Alexander Wong, Bryan Tripp, Graham W. Taylor,
• Abstract要約: 我々は、ImageNetで事前訓練されたAlexNetに対して、ニューロンに基づく説明法が完全性と解釈可能性の両方を犠牲にすることを示す。 我々は、最も重要な主成分が、最も重要なニューロンよりも完全で解釈可能な説明を提供することを示す。 この結果から,AlexNet などのネットワークに対する説明手法は,ニューロンを埋め込みの基盤として使用するべきではないことが示唆された。
• 参考スコア（独自算出の注目度）: 67.53271920386851
• License:
• Abstract: High quality explanations of neural networks (NNs) should exhibit two key properties. Completeness ensures that they accurately reflect a network's function and interpretability makes them understandable to humans. Many existing methods provide explanations of individual neurons within a network. In this work we provide evidence that for AlexNet pretrained on ImageNet, neuron-based explanation methods sacrifice both completeness and interpretability compared to activation principal components. Neurons are a poor basis for AlexNet embeddings because they don't account for the distributed nature of these representations. By examining two quantitative measures of completeness and conducting a user study to measure interpretability, we show the most important principal components provide more complete and interpretable explanations than the most important neurons. Much of the activation variance may be explained by examining relatively few high-variance PCs, as opposed to studying every neuron. These principal components also strongly affect network function, and are significantly more interpretable than neurons. Our findings suggest that explanation methods for networks like AlexNet should avoid using neurons as a basis for embeddings and instead choose a basis, such as principal components, which accounts for the high dimensional and distributed nature of a network's internal representations. Interactive demo and code available at https://ndey96.github.io/neuron-explanations-sacrifice.
• Abstract（参考訳）: ニューラルネットワーク(NN)の高品質な説明は2つの重要な特性を示すべきである。 完全性は、ネットワークの機能と解釈性を正確に反映することを保証する。 既存の多くの手法は、ネットワーク内の個々のニューロンの説明を提供する。 本研究では、ImageNetで事前訓練されたAlexNetに対して、ニューロンに基づく説明法は、活性化主成分と比較して完全性と解釈可能性の両方を犠牲にする、という証拠を提供する。 ニューロンは、これらの表現の分散の性質を考慮しないため、AlexNetの埋め込みの基盤が貧弱です。 完全度を2つの定量的に測定し,解釈可能性を測定することによって,最も重要な主成分が,最も重要なニューロンよりも完全かつ解釈可能な説明を提供することを示す。 活性化のばらつきの多くは、全てのニューロンを研究するのとは対照的に、比較的少数の高分散PCを調べることで説明できる。 これらの主成分はネットワーク機能にも強く影響し、ニューロンよりもはるかに解釈しやすい。 この結果から,AlexNetのようなネットワークに対する説明手法は,ニューロンを埋め込みの基盤として使用せず,ネットワークの内部表現の高次元的かつ分散的な性質を考慮に入れた主成分などの基盤を選択するべきであることが示唆された。 インタラクティブなデモとコードはhttps://ndey96.github.io/neuron-explanations-sacrifice.comで公開されている。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• An Analysis Framework for Understanding Deep Neural Networks Based on Network Dynamics [11.44947569206928]
  ディープニューラルネットワーク(DNN)は、ディープ層にまたがる異なるモードのニューロンの割合を合理的に割り当てることで、情報抽出を最大化する。 このフレームワークは、"フラット・ミニマ効果(flat minima effect)"、"グロッキング(grokking)"、二重降下現象(double descend phenomena)など、基本的なDNNの振る舞いについて統一的な説明を提供する。
  論文  参考訳（メタデータ） (2025-01-05T04:23:21Z)
• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Exploring Geometry of Blind Spots in Vision Models [56.47644447201878]
  CNNやトランスフォーマーのような視覚モデルにおける過敏性の現象について検討する。 本稿では,入力空間に対する信頼度の高い領域を反復的に探索するレベルセットトラバースアルゴリズムを提案する。 モデルが高い信頼度を維持するこれらの連結高次元領域の範囲を推定する。
  論文  参考訳（メタデータ） (2023-10-30T18:00:33Z)
• Deep learning neural network for approaching Schr\"odinger problems with arbitrary two-dimensional confinement [0.0]
  本稿では,ニューラルネットワークを用いた自動学習法に基づく2次元シュリンガー方程式へのアプローチを提案する。 これは、解の知識から多くの任意のサンプル問題まで、任意の2次元ポテンシャルに閉じ込められた粒子の基底状態を決定することを目的としている。
  論文  参考訳（メタデータ） (2023-04-03T19:48:33Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Explainable Deep Belief Network based Auto encoder using novel Extended Garson Algorithm [6.228766191647919]
  我々はDeep Belief Network based Auto-Encoder (DBNA) を説明するアルゴリズムを開発した。 DBN内の各入力機能のコントリビューションを決定するために使用される。 この方法によって同定された重要な特徴は、ウォルドチ広場(chi2)で得られたものと比較される。
  論文  参考訳（メタデータ） (2022-07-18T10:44:02Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• Similarity and Matching of Neural Network Representations [0.0]
  我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。 我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
  論文  参考訳（メタデータ） (2021-10-27T17:59:46Z)
• On Tractable Representations of Binary Neural Networks [23.50970665150779]
  我々は、二項ニューラルネットワークの決定関数を、順序付き二項決定図(OBDD)や意味決定図(SDD)などの抽出可能な表現にコンパイルすることを検討する。 実験では,SDDとしてニューラルネットワークのコンパクトな表現を得ることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-05T03:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。