論文の概要: Explaining Deep Learning Hidden Neuron Activations using Concept Induction

• arxiv url: http://arxiv.org/abs/2301.09611v1
• Date: Mon, 23 Jan 2023 18:14:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-01-24 12:49:51.394999
• Title: Explaining Deep Learning Hidden Neuron Activations using Concept Induction
• Title（参考訳）: 概念誘導を用いた深層学習隠れニューロン活性化の解説
• Authors: Abhilekha Dalal, Md Kamruzzaman Sarker, Adrita Barua, and Pascal Hitzler
• Abstract要約: 最先端技術は、隠れたノードのアクティベーションが人間にとって意味のある方法で解釈可能であることを示している。 畳み込みニューラルネットワークの高密度層において,背景知識から意味のあるラベルを個々のニューロンに自動的にアタッチできることを示す。
• 参考スコア（独自算出の注目度）: 3.6223658572137825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the current key challenges in Explainable AI is in correctly interpreting activations of hidden neurons. It seems evident that accurate interpretations thereof would provide insights into the question what a deep learning system has internally \emph{detected} as relevant on the input, thus lifting some of the black box character of deep learning systems. The state of the art on this front indicates that hidden node activations appear to be interpretable in a way that makes sense to humans, at least in some cases. Yet, systematic automated methods that would be able to first hypothesize an interpretation of hidden neuron activations, and then verify it, are mostly missing. In this paper, we provide such a method and demonstrate that it provides meaningful interpretations. It is based on using large-scale background knowledge -- a class hierarchy of approx. 2 million classes curated from the Wikipedia Concept Hierarchy -- together with a symbolic reasoning approach called \emph{concept induction} based on description logics that was originally developed for applications in the Semantic Web field. Our results show that we can automatically attach meaningful labels from the background knowledge to individual neurons in the dense layer of a Convolutional Neural Network through a hypothesis and verification process.
• Abstract（参考訳）: Explainable AIにおける現在の課題の1つは、隠れたニューロンの活性化を正しく解釈することである。 正確な解釈は、深層学習システムが内部的に「emph{detected}」を入力に関連付けているかどうかという疑問に洞察を与え、深層学習システムのブラックボックスのいくつかの特徴を持ち上げることになる。 この技術の現状は、隠されたノードのアクティベーションが、少なくとも場合によっては人間にとって意味のある方法で解釈可能であることを示している。 しかし、まず隠れたニューロンの活性化の解釈を仮定し、それを検証できる体系的な自動化手法はほとんど欠落している。 本稿では,そのような方法を提供し,意味のある解釈を提供することを示す。 これは、wikipediaのコンセプト階層から集められた約200万クラスのクラス階層である大規模なバックグラウンド知識と、元々セマンティックweb分野のアプリケーションのために開発された記述ロジックに基づいた、emph{concept induction}と呼ばれるシンボリック推論アプローチの使用に基づいている。 以上より,畳み込みニューラルネットワークの密集層内の個々のニューロンに,背景知識から有意なラベルを仮説と検証プロセスを通じて自動的に付加できることを示す。

関連論文リスト

• From superposition to sparse codes: interpretable representations in neural networks [3.6738925004882685]
  最近の証拠は、ニューラルネットワークが重畳の特徴を符号化していることを示唆している。 本稿では、この現象を説明する視点を示し、ニューラルアクティベーションから解釈可能な表現を抽出するための基盤を提供する。 我々の議論は、ニューラルコーディング理論、AI透明性、ディープラーニングモデルをより解釈可能なものにするというより広い目標に影響を及ぼす。
  論文  参考訳（メタデータ） (2025-03-03T18:49:59Z)
• On the Value of Labeled Data and Symbolic Methods for Hidden Neuron Activation Analysis [1.55858752644861]
  最先端技術は、隠されたノードのアクティベーションが、場合によっては人間にとって意味のある方法で解釈可能であることを示している。 本稿では,本手法が意味のある解釈を提供することを示す,新しいモデル非依存のポストホック説明可能なAI手法を提案する。
  論文  参考訳（メタデータ） (2024-04-21T07:57:45Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Understanding CNN Hidden Neuron Activations Using Structured Background Knowledge and Deductive Reasoning [3.6223658572137825]
  最先端技術は、隠されたノードのアクティベーションが、場合によっては人間にとって意味のある方法で解釈可能であることを示している。 畳み込みニューラルネットワークの高密度層において,背景知識から意味のあるラベルを個々のニューロンに自動的にアタッチできることを示す。
  論文  参考訳（メタデータ） (2023-08-08T02:28:50Z)
• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• Mapping Knowledge Representations to Concepts: A Review and New Perspectives [0.6875312133832078]
  本論は、内部表現と人間の理解可能な概念を関連付けることを目的とした研究に焦点をあてる。 この分類学と因果関係の理論は、ニューラルネットワークの説明から期待できるもの、期待できないものを理解するのに有用である。 この分析は、モデル説明可能性の目標に関するレビューされた文献の曖昧さも明らかにしている。
  論文  参考訳（メタデータ） (2022-12-31T12:56:12Z)
• An Interpretable Neuron Embedding for Static Knowledge Distillation [7.644253344815002]
  本稿では,ニューロンを意味空間に埋め込み,解釈可能な新しいニューラルネットワーク手法を提案する。 提案したセマンティックベクトルは、潜伏した知識を静的な知識に外部化する。 可視化の実証実験により、セマンティックベクターはニューロンの活性化セマンティクスをうまく表現していることが示された。
  論文  参考訳（メタデータ） (2022-11-14T03:26:10Z)
• NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning [59.16962123636579]
  本稿では,Prologベースの推論エンジンを新たに提案する。 我々は手作りのルールを、ニューラルネットワークモデリング、ガイド付き生成、半密検索の組み合わせで置き換える。 我々の実装であるNELLIEは、完全に解釈可能なエンドツーエンドの基底QAを示す最初のシステムである。
  論文  参考訳（メタデータ） (2022-09-16T00:54:44Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Expressive Explanations of DNNs by Combining Concept Analysis with ILP [0.3867363075280543]
  我々は,dnn(feed-forward convolutional deep neural network)の理論的根拠をグローバル,表現的,言語的に説明するために,ネットワークが学習した本質的特徴を用いた。 我々の説明は元々のブラックボックスモデルに忠実であることを示している。
  論文  参考訳（メタデータ） (2021-05-16T07:00:27Z)
• This is not the Texture you are looking for! Introducing Novel Counterfactual Explanations for Non-Experts using Generative Adversarial Learning [59.17685450892182]
  反実用説明システムは、入力画像を変更して反実用推論を可能にする。 本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。 その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-12-22T10:08:05Z)
• Neuron-based explanations of neural networks sacrifice completeness and interpretability [67.53271920386851]
  我々は、ImageNetで事前訓練されたAlexNetに対して、ニューロンに基づく説明法が完全性と解釈可能性の両方を犠牲にすることを示す。 我々は、最も重要な主成分が、最も重要なニューロンよりも完全で解釈可能な説明を提供することを示す。 この結果から,AlexNet などのネットワークに対する説明手法は,ニューロンを埋め込みの基盤として使用するべきではないことが示唆された。
  論文  参考訳（メタデータ） (2020-11-05T21:26:03Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。