論文の概要: What is Missing? Explaining Neurons Activated by Absent Concepts

• arxiv url: http://arxiv.org/abs/2603.09787v1
• Date: Tue, 10 Mar 2026 15:21:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.422608
• Title: What is Missing? Explaining Neurons Activated by Absent Concepts
• Title（参考訳）: 失恋とは何か? 絶対的概念によって活性化されるニューロンについて
• Authors: Robin Hesse, Simone Schaub-Meyer, Janina Hesse, Bernt Schiele, Stefan Roth,
• Abstract要約: XAIは、ディープニューラルネットワーク(DNN)の動作に関する人間解釈可能な洞察を提供することを目指している 既存の研究において、この因果構造はしばしば、概念の存在がニューロンの強い活性化と関連している関係を含む。 ほとんど見過ごされがちな因果関係は、概念の欠如が神経活動を増加させるエンコードされた欠如であることを示す。
• 参考スコア（独自算出の注目度）: 57.02903530185128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainable artificial intelligence (XAI) aims to provide human-interpretable insights into the behavior of deep neural networks (DNNs), typically by estimating a simplified causal structure of the model. In existing work, this causal structure often includes relationships where the presence of a concept is associated with a strong activation of a neuron. For example, attribution methods primarily identify input pixels that contribute most to a prediction, and feature visualization methods reveal inputs that cause high activation of a target neuron - the former implicitly assuming that the relevant information resides in the input, and the latter that neurons encode the presence of concepts. However, a largely overlooked type of causal relationship is that of encoded absences, where the absence of a concept increases neural activation. In this work, we show that such missing but relevant concepts are common and that mainstream XAI methods struggle to reveal them when applied in their standard form. To address this, we propose two simple extensions to attribution and feature visualization techniques that uncover encoded absences. Across experiments, we show how mainstream XAI methods can be used to reveal and explain encoded absences, how ImageNet models exploit them, and that debiasing can be improved when considering them.
• Abstract（参考訳）: 説明可能な人工知能(XAI)は、ディープニューラルネットワーク(DNN)の振る舞いに関する人間の解釈可能な洞察を提供することを目的としている。 既存の研究において、この因果構造はしばしば、概念の存在がニューロンの強い活性化と関連している関係を含む。 例えば、属性法は、主に予測に最も寄与する入力ピクセルを識別し、特徴可視化法は、ターゲットニューロンの高い活性化を引き起こす入力を明らかにする。 しかし、ほとんど見過ごされがちな因果関係は、概念の欠如が神経活動を増加させるエンコードされた欠如である。 本稿では,そのような欠落する概念が一般的であり,標準形式に適用した場合,主流のXAI手法がそれらを明らかにするのに苦慮していることを示す。 そこで本研究では,帰属関係の簡易な拡張と,不在を符号化する特徴可視化手法を提案する。 実験を通じて、エンコードされた欠如を明らかにし、説明するために、メインストリームのXAIメソッドをどのように使用できるか、ImageNetモデルがそれらをどのように活用するか、そして、それらを考える際にデバイアスを改善することができるかを示す。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Formal Explanations for Neuro-Symbolic AI [28.358183683756028]
  本稿では,ニューロシンボリックシステムの決定を説明するための公式なアプローチを提案する。 これはまず、説明が必要な神経情報の個々の部分のサブセットを特定するのに役立つ。 これに続いて、階層的な形式的な説明の簡潔さを促進するために、互いに独立して、これらの個々の神経入力のみを説明する。
  論文  参考訳（メタデータ） (2024-10-18T07:08:31Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• ConceptLens: from Pixels to Understanding [1.3466710708566176]
  ConceptLensは、隠れたニューロンの活性化を可視化することによって、ディープニューラルネットワーク(DNN)の複雑な動作を照明する革新的なツールである。 ディープラーニングとシンボリックな方法を統合することで、ConceptLensは、ニューロンの活性化を引き起こすものを理解するユニークな方法を提供する。
  論文  参考訳（メタデータ） (2024-10-04T20:49:12Z)
• The Relational Bottleneck as an Inductive Bias for Efficient Abstraction [3.19883356005403]
  ニューラルネットワークはアーキテクチャを通して、個々の入力の属性ではなく、知覚的入力間の関係に焦点を絞っていることを示す。 データ効率のよい方法で抽象化を誘導するために、このアプローチを用いたモデルのファミリーをレビューする。
  論文  参考訳（メタデータ） (2023-09-12T22:44:14Z)
• Searching for the Essence of Adversarial Perturbations [73.96215665913797]
  本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。 この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
  論文  参考訳（メタデータ） (2022-05-30T18:04:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。