論文の概要: Neuron-based explanations of neural networks sacrifice completeness and interpretability

• arxiv url: http://arxiv.org/abs/2011.03043v3
• Date: Wed, 19 Mar 2025 16:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-23 17:12:48.781523
• Title: Neuron-based explanations of neural networks sacrifice completeness and interpretability
• Title（参考訳）: ニューラルネットワークのニューロンに基づく説明は完全性と解釈性を犠牲にする
• Authors: Nolan Dey, Eric Taylor, Alexander Wong, Bryan Tripp, Graham W. Taylor,
• Abstract要約: 我々は、ImageNetで事前訓練されたAlexNetに対して、ニューロンに基づく説明法が完全性と解釈可能性の両方を犠牲にすることを示す。 我々は、最も重要な主成分が、最も重要なニューロンよりも完全で解釈可能な説明を提供することを示す。 この結果から,AlexNet などのネットワークに対する説明手法は,ニューロンを埋め込みの基盤として使用するべきではないことが示唆された。
• 参考スコア（独自算出の注目度）: 67.53271920386851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High quality explanations of neural networks (NNs) should exhibit two key properties. Completeness ensures that they accurately reflect a network's function and interpretability makes them understandable to humans. Many existing methods provide explanations of individual neurons within a network. In this work we provide evidence that for AlexNet pretrained on ImageNet, neuron-based explanation methods sacrifice both completeness and interpretability compared to activation principal components. Neurons are a poor basis for AlexNet embeddings because they don't account for the distributed nature of these representations. By examining two quantitative measures of completeness and conducting a user study to measure interpretability, we show the most important principal components provide more complete and interpretable explanations than the most important neurons. Much of the activation variance may be explained by examining relatively few high-variance PCs, as opposed to studying every neuron. These principal components also strongly affect network function, and are significantly more interpretable than neurons. Our findings suggest that explanation methods for networks like AlexNet should avoid using neurons as a basis for embeddings and instead choose a basis, such as principal components, which accounts for the high dimensional and distributed nature of a network's internal representations. Interactive demo and code available at https://ndey96.github.io/neuron-explanations-sacrifice.
• Abstract（参考訳）: ニューラルネットワーク(NN)の高品質な説明は2つの重要な特性を示すべきである。 完全性は、ネットワークの機能と解釈性を正確に反映することを保証する。 既存の多くの手法は、ネットワーク内の個々のニューロンの説明を提供する。 本研究では、ImageNetで事前訓練されたAlexNetに対して、ニューロンに基づく説明法は、活性化主成分と比較して完全性と解釈可能性の両方を犠牲にする、という証拠を提供する。 ニューロンは、これらの表現の分散の性質を考慮しないため、AlexNetの埋め込みの基盤が貧弱です。 完全度を2つの定量的に測定し,解釈可能性を測定することによって,最も重要な主成分が,最も重要なニューロンよりも完全かつ解釈可能な説明を提供することを示す。 活性化のばらつきの多くは、全てのニューロンを研究するのとは対照的に、比較的少数の高分散PCを調べることで説明できる。 これらの主成分はネットワーク機能にも強く影響し、ニューロンよりもはるかに解釈しやすい。 この結果から,AlexNetのようなネットワークに対する説明手法は,ニューロンを埋め込みの基盤として使用せず,ネットワークの内部表現の高次元的かつ分散的な性質を考慮に入れた主成分などの基盤を選択するべきであることが示唆された。 インタラクティブなデモとコードはhttps://ndey96.github.io/neuron-explanations-sacrifice.comで公開されている。

関連論文リスト

• From superposition to sparse codes: interpretable representations in neural networks [3.6738925004882685]
  最近の証拠は、ニューラルネットワークが重畳の特徴を符号化していることを示唆している。 本稿では、この現象を説明する視点を示し、ニューラルアクティベーションから解釈可能な表現を抽出するための基盤を提供する。 我々の議論は、ニューラルコーディング理論、AI透明性、ディープラーニングモデルをより解釈可能なものにするというより広い目標に影響を及ぼす。
  論文  参考訳（メタデータ） (2025-03-03T18:49:59Z)
• Residual Random Neural Networks [0.0]
  ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。 隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-25T22:00:11Z)
• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Exploring Geometry of Blind Spots in Vision Models [56.47644447201878]
  CNNやトランスフォーマーのような視覚モデルにおける過敏性の現象について検討する。 本稿では,入力空間に対する信頼度の高い領域を反復的に探索するレベルセットトラバースアルゴリズムを提案する。 モデルが高い信頼度を維持するこれらの連結高次元領域の範囲を推定する。
  論文  参考訳（メタデータ） (2023-10-30T18:00:33Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Deep learning neural network for approaching Schr\"odinger problems with arbitrary two-dimensional confinement [0.0]
  本稿では,ニューラルネットワークを用いた自動学習法に基づく2次元シュリンガー方程式へのアプローチを提案する。 これは、解の知識から多くの任意のサンプル問題まで、任意の2次元ポテンシャルに閉じ込められた粒子の基底状態を決定することを目的としている。
  論文  参考訳（メタデータ） (2023-04-03T19:48:33Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Higher-order mutual information reveals synergistic sub-networks for multi-neuron importance [0.483420384410068]
  以前の研究は、主に個々のニューロンにとって重要であった。 本研究では,シナジスティックあるいは冗長な情報を含むニューロン群について検討する。 結果から,本手法はプルーニングや教師なし表現学習に有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-01T12:21:15Z)
• Explainable Deep Belief Network based Auto encoder using novel Extended Garson Algorithm [6.228766191647919]
  我々はDeep Belief Network based Auto-Encoder (DBNA) を説明するアルゴリズムを開発した。 DBN内の各入力機能のコントリビューションを決定するために使用される。 この方法によって同定された重要な特徴は、ウォルドチ広場(chi2)で得られたものと比較される。
  論文  参考訳（メタデータ） (2022-07-18T10:44:02Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• Similarity and Matching of Neural Network Representations [0.0]
  我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。 我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
  論文  参考訳（メタデータ） (2021-10-27T17:59:46Z)
• Detecting Modularity in Deep Neural Networks [8.967870619902211]
  ネットワークニューロンの分割によるモジュラリティ評価の問題点を考察する。 本稿では,ニューロンがネットワーク性能にいかに重要かを反映した重要度と,そのニューロンが入力の特徴といかに常に関連しているかを反映したコヒーレンスという2つのプロキシを提案する。 これらの分割は、重みのみに基づくものであっても、重要で一貫性のあるニューロンのグループを明らかにします。
  論文  参考訳（メタデータ） (2021-10-13T20:33:30Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• On Tractable Representations of Binary Neural Networks [23.50970665150779]
  我々は、二項ニューラルネットワークの決定関数を、順序付き二項決定図(OBDD)や意味決定図(SDD)などの抽出可能な表現にコンパイルすることを検討する。 実験では,SDDとしてニューラルネットワークのコンパクトな表現を得ることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-05T03:21:26Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。