論文の概要: ConceptTracer: Interactive Analysis of Concept Saliency and Selectivity in Neural Representations

• arxiv url: http://arxiv.org/abs/2604.07019v1
• Date: Wed, 08 Apr 2026 12:37:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.524711
• Title: ConceptTracer: Interactive Analysis of Concept Saliency and Selectivity in Neural Representations
• Title（参考訳）: ConceptTracer: ニューラル表現における概念満足度と選択性の対話的分析
• Authors: Ricardo Knauer, Andre Beinrucker, Erik Rodner,
• Abstract要約: ConceptTracerは、人間の解釈可能な概念のレンズを通して神経表現を分析するアプリケーションである。 本研究では,ConceptTracerが解釈可能なニューロンの発見を促進することを示す。
• 参考スコア（独自算出の注目度）: 1.338174941551702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks deliver impressive predictive performance across a variety of tasks, but they are often opaque in their decision-making processes. Despite a growing interest in mechanistic interpretability, tools for systematically exploring the representations learned by neural networks in general, and tabular foundation models in particular, remain limited. In this work, we introduce ConceptTracer, an interactive application for analyzing neural representations through the lens of human-interpretable concepts. ConceptTracer integrates two information-theoretic measures that quantify concept saliency and selectivity, enabling researchers and practitioners to identify neurons that respond strongly to individual concepts. We demonstrate the utility of ConceptTracer on representations learned by TabPFN and show that our approach facilitates the discovery of interpretable neurons. Together, these capabilities provide a practical framework for investigating how neural networks like TabPFN encode concept-level information. ConceptTracer is available at https://github.com/ml-lab-htw/concept-tracer.
• Abstract（参考訳）: ニューラルネットワークは、様々なタスクにわたって印象的な予測性能を提供するが、意思決定プロセスにおいてしばしば不透明である。 機械的解釈可能性への関心が高まりつつあるにもかかわらず、ニューラルネットワークが一般に学んだ表現を体系的に探索するツールや、特に表層基礎モデルはまだ限られている。 本研究では,人間の解釈可能な概念のレンズを通して神経表現を分析する対話型アプリケーションであるConceptTracerを紹介する。 ConceptTracerは、概念の正当性と選択性を定量化する2つの情報理論的尺度を統合し、研究者や実践者が個々の概念に強く反応するニューロンを識別できるようにする。 本研究では,TabPFNが学習した表現に対するConceptTracerの有用性を実証し,本手法が解釈可能なニューロンの発見を促進することを示す。 これらの能力は、TabPFNのようなニューラルネットワークが概念レベルの情報をエンコードする方法を研究するための実践的なフレームワークを提供する。 ConceptTracerはhttps://github.com/ml-lab-htw/concept-tracer.comで入手できる。

関連論文リスト

• FaCT: Faithful Concept Traces for Explaining Neural Network Decisions [56.796533084868884]
  ディープネットワークは、幅広いタスクで顕著なパフォーマンスを示しているが、それらの機能に関するグローバルな概念レベルの理解は、依然として重要な課題である。 本稿では,概念に基づく説明の忠実さを強調し,モデル独立な機械的概念説明を用いた新しいモデルを提案する。 私たちの概念はクラス間で共有され、あらゆるレイヤから、ロジットへの貢献と入力-視覚化を忠実にトレースすることができます。
  論文  参考訳（メタデータ） (2025-10-29T13:35:46Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Compositional Concept-Based Neuron-Level Interpretability for Deep Reinforcement Learning [2.9539724161670167]
  深部強化学習(DRL)は多くの複雑な制御問題に対処することに成功している。 現在のDRL解釈法は主にニューラルネットワークをブラックボックスとして扱う。 本稿では,ニューロンレベルでのDRLモデルの詳細な説明を提供する,新しい概念に基づく解釈可能性手法を提案する。
  論文  参考訳（メタデータ） (2025-02-02T06:05:49Z)
• ConceptLens: from Pixels to Understanding [1.3466710708566176]
  ConceptLensは、隠れたニューロンの活性化を可視化することによって、ディープニューラルネットワーク(DNN)の複雑な動作を照明する革新的なツールである。 ディープラーニングとシンボリックな方法を統合することで、ConceptLensは、ニューロンの活性化を引き起こすものを理解するユニークな方法を提供する。
  論文  参考訳（メタデータ） (2024-10-04T20:49:12Z)
• LLM-assisted Concept Discovery: Automatically Identifying and Explaining Neuron Functions [15.381209058506078]
  以前の研究は、概念の例や事前に定義された概念のセットに基づいて、ニューロンに関連づけられた概念を持っている。 本稿では,マルチモーダルな大規模言語モデルを用いて,自動的かつオープンな概念発見を提案する。 我々は,この新たな画像に対して,サンプルと反例を生成し,ニューロンの反応を評価することにより,それぞれの概念を検証する。
  論文  参考訳（メタデータ） (2024-06-12T18:19:37Z)
• Manipulating Feature Visualizations with Gradient Slingshots [53.94925202421929]
  特徴可視化(FV)は、ディープニューラルネットワーク(DNN)で学んだ概念を解釈するための広く使われている手法である。 本稿では,モデルアーキテクチャを変更したり,性能を著しく劣化させたりすることなくFVの操作を可能にする新しい手法,Gradient Slingshotsを提案する。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Finding Concept Representations in Neural Networks with Self-Organizing Maps [2.817412580574242]
  ニューラルネットワークの層活性化が抽象概念の神経表現にどのように対応するかを調べるために,自己組織化マップをどのように利用できるかを示す。 実験の結果, 概念の活性化マップの相対エントロピーは適切な候補であり, 概念の神経表現を同定し, 特定するための方法論として利用できることがわかった。
  論文  参考訳（メタデータ） (2023-12-10T12:10:34Z)
• Formal Conceptual Views in Neural Networks [0.0]
  本稿では,ニューラルネットワークの概念的視点,特に多値・記号的視点の2つの概念を紹介する。 我々は、ImageNetとFruit-360データセットの異なる実験を通して、新しいビューの概念的表現性をテストする。 本研究では,ニューロンからの人間の理解可能なルールの帰納的学習に概念的視点が適用可能であることを実証する。
  論文  参考訳（メタデータ） (2022-09-27T16:38:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。