論文の概要: In Search of Grandmother Cells: Tracing Interpretable Neurons in Tabular Representations
- arxiv url: http://arxiv.org/abs/2601.03657v1
- Date: Wed, 07 Jan 2026 07:13:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-08 18:12:46.146991
- Title: In Search of Grandmother Cells: Tracing Interpretable Neurons in Tabular Representations
- Title(参考訳): グランドマザー細胞探索 : タブラリ表現における解釈可能なニューロンの追跡
- Authors: Ricardo Knauer, Erik Rodner,
- Abstract要約: いくつかのニューロンは、高レベルの概念に対して中等度で統計的に有意な唾液濃度と選択性を示す。
これらの結果は、解釈可能なニューロンが自然に出現し、より複雑な解釈可能性技術に頼らずに特定できることを示唆している。
- 参考スコア(独自算出の注目度): 1.503974529275767
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models are powerful yet often opaque in their decision-making. A topic of continued interest in both neuroscience and artificial intelligence is whether some neurons behave like grandmother cells, i.e., neurons that are inherently interpretable because they exclusively respond to single concepts. In this work, we propose two information-theoretic measures that quantify the neuronal saliency and selectivity for single concepts. We apply these metrics to the representations of TabPFN, a tabular foundation model, and perform a simple search across neuron-concept pairs to find the most salient and selective pair. Our analysis provides the first evidence that some neurons in such models show moderate, statistically significant saliency and selectivity for high-level concepts. These findings suggest that interpretable neurons can emerge naturally and that they can, in some cases, be identified without resorting to more complex interpretability techniques.
- Abstract(参考訳): 基礎モデルは強力だが、意思決定においてしばしば不透明である。
神経科学と人工知能の両方に対する継続的な関心のトピックは、一部のニューロンが祖母細胞のように振る舞うかどうかである。
本研究では, 単一概念に対する神経塩分濃度と選択性を定量化する2つの情報理論尺度を提案する。
これらの指標を表層基礎モデルであるTabPFNの表現に適用し、ニューロンと概念のペアをまたいだ簡単な探索を行い、最も有能で選択的なペアを見つける。
我々の分析は、高次概念に対して中等度で統計的に有意な正当性および選択性を示すニューロンがいくつか存在することを示す最初の証拠である。
これらの結果は、解釈可能なニューロンが自然に出現し、より複雑な解釈可能性技術に頼らずに特定できることを示唆している。
関連論文リスト
- NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [63.592664795493725]
NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。
内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。
NOBLEは、その一般化を実際の実験データで検証する最初の大規模ディープラーニングフレームワークである。
論文 参考訳(メタデータ) (2025-06-05T01:01:18Z) - Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。
完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。
このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
論文 参考訳(メタデータ) (2024-10-17T17:47:54Z) - Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems [3.604033202771937]
ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。
本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-17T17:41:28Z) - Single Biological Neurons as Temporally Precise Spatio-Temporal Pattern
Recognizers [0.0]
理論は、脳内の単一ニューロンは、時間的に非常に複雑な時間的パターン認識因子と見なされるべきという中心的な考え方に焦点を当てている。
第2章では、特定の時間的入力パターンに応答して、単一ニューロンが時間的に正確な出力パターンを生成できることを実証する。
第3章では、現実的な皮質ニューロンの識別可能な深部ネットワークを用いて、ニューロンの出力の影響を近似する。
論文 参考訳(メタデータ) (2023-09-26T17:32:08Z) - Cones: Concept Neurons in Diffusion Models for Customized Generation [41.212255848052514]
本稿では,特定の対象に対応する拡散モデルにおいて,ニューロンの小さな集合を見出す。
概念ニューロンは、生成結果の解釈と操作において磁気特性を示す。
大規模な応用においては、ニューロンは環境に優しいため、密度の高いfloat32値ではなく、sparseクラスタのintインデックスを格納するだけである。
論文 参考訳(メタデータ) (2023-03-09T09:16:04Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳(メタデータ) (2020-06-24T20:37:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。