論文の概要: On the Value of Labeled Data and Symbolic Methods for Hidden Neuron Activation Analysis
- arxiv url: http://arxiv.org/abs/2404.13567v1
- Date: Sun, 21 Apr 2024 07:57:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 18:21:27.350475
- Title: On the Value of Labeled Data and Symbolic Methods for Hidden Neuron Activation Analysis
- Title（参考訳）: 隠れニューロン活性化解析におけるラベルデータの価値と記号法について
- Authors: Abhilekha Dalal, Rushrukh Rayan, Adrita Barua, Eugene Y. Vasserman, Md Kamruzzaman Sarker, Pascal Hitzler,
- Abstract要約: 最先端技術は、隠されたノードのアクティベーションが、場合によっては人間にとって意味のある方法で解釈可能であることを示している。
本稿では,本手法が意味のある解釈を提供することを示す,新しいモデル非依存のポストホック説明可能なAI手法を提案する。
- 参考スコア（独自算出の注目度）: 1.55858752644861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A major challenge in Explainable AI is in correctly interpreting activations of hidden neurons: accurate interpretations would help answer the question of what a deep learning system internally detects as relevant in the input, demystifying the otherwise black-box nature of deep learning systems. The state of the art indicates that hidden node activations can, in some cases, be interpretable in a way that makes sense to humans, but systematic automated methods that would be able to hypothesize and verify interpretations of hidden neuron activations are underexplored. This is particularly the case for approaches that can both draw explanations from substantial background knowledge, and that are based on inherently explainable (symbolic) methods. In this paper, we introduce a novel model-agnostic post-hoc Explainable AI method demonstrating that it provides meaningful interpretations. Our approach is based on using a Wikipedia-derived concept hierarchy with approximately 2 million classes as background knowledge, and utilizes OWL-reasoning-based Concept Induction for explanation generation. Additionally, we explore and compare the capabilities of off-the-shelf pre-trained multimodal-based explainable methods. Our results indicate that our approach can automatically attach meaningful class expressions as explanations to individual neurons in the dense layer of a Convolutional Neural Network. Evaluation through statistical analysis and degree of concept activation in the hidden layer show that our method provides a competitive edge in both quantitative and qualitative aspects compared to prior work.
- Abstract（参考訳）: 正確な解釈は、ディープラーニングシステムがインプットに関連性があることを内部的に検出し、それ以外のディープラーニングシステムのブラックボックスの性質を模倣する、という疑問に答えるのに役立つ。
最先端技術は、隠されたノードの活性化が、場合によっては人間にとって意味のある方法で解釈可能であることを示しているが、隠されたニューロンの活性化の解釈を仮説化し検証できる体系的な自動化手法が過小評価されている。
これは特に、背景知識から説明を引き出すことができるアプローチと、本質的に説明可能な(記号的な)方法に基づくアプローチの両方に当てはまる。
本稿では,モデルに依存しないポストホックな説明可能なAI手法を提案する。
提案手法は,約200万のクラスを背景知識としてウィキペディア由来の概念階層を用いて,OWL推論に基づく概念帰納法を用いて説明生成を行う。
さらに,市販のマルチモーダル・ベースの説明可能な手法についても検討・比較する。
提案手法は,畳み込みニューラルネットワークの高密度層における個々のニューロンへの説明として,意味のあるクラス表現を自動で付加できることが示唆された。
隠れ層における統計的解析と概念アクティベーションの程度による評価により,本手法は先行研究と比較して定量的および定性的な両面において競合的なエッジを提供することを示した。
関連論文リスト
- Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。
ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文 参考訳（メタデータ） (2024-01-11T18:57:17Z) - Understanding CNN Hidden Neuron Activations Using Structured Background
Knowledge and Deductive Reasoning [3.6223658572137825]
最先端技術は、隠されたノードのアクティベーションが、場合によっては人間にとって意味のある方法で解釈可能であることを示している。
畳み込みニューラルネットワークの高密度層において,背景知識から意味のあるラベルを個々のニューロンに自動的にアタッチできることを示す。
論文 参考訳（メタデータ） (2023-08-08T02:28:50Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Adversarial Attacks on the Interpretation of Neuron Activation
Maximization [70.5472799454224]
アクティベーション最大化アプローチは、訓練されたディープラーニングモデルの解釈と解析に使用される。
本研究では,解釈を欺くためにモデルを操作する敵の概念を考察する。
論文 参考訳（メタデータ） (2023-06-12T19:54:33Z) - Explaining Deep Learning Hidden Neuron Activations using Concept
Induction [3.6223658572137825]
最先端技術は、隠れたノードのアクティベーションが人間にとって意味のある方法で解釈可能であることを示している。
畳み込みニューラルネットワークの高密度層において,背景知識から意味のあるラベルを個々のニューロンに自動的にアタッチできることを示す。
論文 参考訳（メタデータ） (2023-01-23T18:14:32Z) - NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical
Development Patterns of Preterm Infants [73.85768093666582]
我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。
NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
論文 参考訳（メタデータ） (2023-01-01T12:48:12Z) - An Interpretable Neuron Embedding for Static Knowledge Distillation [7.644253344815002]
本稿では,ニューロンを意味空間に埋め込み,解釈可能な新しいニューラルネットワーク手法を提案する。
提案したセマンティックベクトルは、潜伏した知識を静的な知識に外部化する。
可視化の実証実験により、セマンティックベクターはニューロンの活性化セマンティクスをうまく表現していることが示された。
論文 参考訳（メタデータ） (2022-11-14T03:26:10Z) - Neural Activation Patterns (NAPs): Visual Explainability of Learned
Concepts [8.562628320010035]
本稿では,活性化分布全体を考慮に入れた手法を提案する。
ニューラルネットワーク層の高次元活性化空間内で同様の活性化プロファイルを抽出することにより、同様に扱われる入力のグループを見つける。
これらの入力グループは、ニューラルネットワークアクティベーションパターン(NAP)を表現し、学習された層の概念を視覚化し解釈するために使用することができる。
論文 参考訳（メタデータ） (2022-06-20T09:05:57Z) - Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。
本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文 参考訳（メタデータ） (2021-09-28T00:53:34Z) - Robust Explainability: A Tutorial on Gradient-Based Attribution Methods
for Deep Neural Networks [1.5854438418597576]
本稿では、ディープニューラルネットワークの決定を説明するための勾配に基づく解釈可能性法を提案する。
敵の頑健さが意味のある説明を持つ上で果たす役割について論じる。
我々は、堅牢性と説明可能性の収束における研究の今後の方向性を結論づける。
論文 参考訳（メタデータ） (2021-07-23T18:06:29Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。