論文の概要: Select, Hypothesize and Verify: Towards Verified Neuron Concept Interpretation
- arxiv url: http://arxiv.org/abs/2603.24953v1
- Date: Thu, 26 Mar 2026 02:45:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-27 20:52:48.058178
- Title: Select, Hypothesize and Verify: Towards Verified Neuron Concept Interpretation
- Title（参考訳）: 選択・仮説・検証:検証されたニューロン概念解釈を目指して
- Authors: ZeBin Ji, Yang Hu, Xiuli Bi, Bo Liu, Bin Xiao,
- Abstract要約: 既存のアプローチでは、自然言語の記述を生成することによってニューロンの概念を記述する。
実際、一部のニューロンは冗長であるかもしれないし、誤解を招く概念を提供するかもしれない。
生成した概念が対応するニューロンを高度に活性化するかどうかを確認する。
- 参考スコア（独自算出の注目度）: 24.76656635414083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is essential for understanding neural network decisions to interpret the functionality (also known as concepts) of neurons. Existing approaches describe neuron concepts by generating natural language descriptions, thereby advancing the understanding of the neural network's decision-making mechanism. However, these approaches assume that each neuron has well-defined functions and provides discriminative features for neural network decision-making. In fact, some neurons may be redundant or may offer misleading concepts. Thus, the descriptions for such neurons may cause misinterpretations of the factors driving the neural network's decisions. To address the issue, we introduce a verification of neuron functions, which checks whether the generated concept highly activates the corresponding neuron. Furthermore, we propose a Select-Hypothesize-Verify framework for interpreting neuron functionality. This framework consists of: 1) selecting activation samples that best capture a neuron's well-defined functional behavior through activation-distribution analysis; 2) forming hypotheses about concepts for the selected neurons; and 3) verifying whether the generated concepts accurately reflect the functionality of the neuron. Extensive experiments show that our method produces more accurate neuron concepts. Our generated concepts activate the corresponding neurons with a probability approximately 1.5 times that of the current state-of-the-art method.
- Abstract（参考訳）: ニューロンの機能(概念としても知られる)を理解するためには、ニューラルネットワークの決定を理解することが不可欠である。
既存のアプローチでは、自然言語記述を生成することでニューロンの概念を記述し、それによってニューラルネットワークの意思決定メカニズムの理解を深める。
しかしながら、これらのアプローチは、各ニューロンが適切に定義された機能を持ち、ニューラルネットワーク決定のための識別的特徴を提供すると仮定する。
実際、一部のニューロンは冗長であるかもしれないし、誤解を招く概念を提供するかもしれない。
したがって、そのようなニューロンの記述は、ニューラルネットワークの決定を駆動する要因の誤解釈を引き起こす可能性がある。
この問題に対処するために、生成した概念が対応するニューロンを活性化するかどうかをチェックするニューロン機能の検証を導入する。
さらに,ニューロン機能解析のためのSelect-Hypothesize-Verifyフレームワークを提案する。
この枠組みは以下の通りである。
1)活性化分布分析によりニューロンの明確に定義された機能的挙動を最も捉えた活性化サンプルを選択すること。
2)選択したニューロンの概念に関する仮説の形成,及び
3) 生成した概念がニューロンの機能を正確に反映しているかどうかを検証する。
広汎な実験により, より正確なニューロン概念が得られた。
生成した概念は、現在の最先端法の約1.5倍の確率で対応するニューロンを活性化する。
関連論文リスト
- In Search of Grandmother Cells: Tracing Interpretable Neurons in Tabular Representations [1.503974529275767]
いくつかのニューロンは、高レベルの概念に対して中等度で統計的に有意な唾液濃度と選択性を示す。
これらの結果は、解釈可能なニューロンが自然に出現し、より複雑な解釈可能性技術に頼らずに特定できることを示唆している。
論文 参考訳（メタデータ） (2026-01-07T07:13:01Z) - Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。
ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。
以上の結果から,ニューロンの自動解釈は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
論文 参考訳（メタデータ） (2024-06-06T17:59:52Z) - Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems [3.604033202771937]
ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。
本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
論文 参考訳（メタデータ） (2023-10-17T17:41:28Z) - Disentangling Neuron Representations with Concept Vectors [0.0]
本研究の主な貢献は, 異なる特徴をカプセル化した概念ベクトルに多面体ニューロンをアンタングル化する手法である。
評価の結果,概念ベクトルはコヒーレントで人間に理解可能な特徴をエンコードしていることがわかった。
論文 参考訳（メタデータ） (2023-04-19T14:55:31Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - NeuroCartography: Scalable Automatic Visual Summarization of Concepts in
Deep Neural Networks [18.62960153659548]
NeuroCartographyは、ニューラルネットワークで学んだ概念を要約し視覚化するインタラクティブシステムである。
同じ概念を検知するニューロンを自動的に発見し、グループ化する。
このようなニューロン群がどのように相互作用し、より高いレベルの概念とその後の予測を形成するかを記述する。
論文 参考訳（メタデータ） (2021-08-29T22:43:52Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - Neuron-based explanations of neural networks sacrifice completeness and interpretability [67.53271920386851]
我々は、ImageNetで事前訓練されたAlexNetに対して、ニューロンに基づく説明法が完全性と解釈可能性の両方を犠牲にすることを示す。
我々は、最も重要な主成分が、最も重要なニューロンよりも完全で解釈可能な説明を提供することを示す。
この結果から,AlexNet などのネットワークに対する説明手法は,ニューロンを埋め込みの基盤として使用するべきではないことが示唆された。
論文 参考訳（メタデータ） (2020-11-05T21:26:03Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。