論文の概要: Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems
- arxiv url: http://arxiv.org/abs/2310.11431v2
- Date: Wed, 18 Oct 2023 02:02:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 12:31:21.102505
- Title: Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems
- Title(参考訳): 人工・生体神経系における解釈可能な視覚特徴の同定
- Authors: David Klindt, Sophia Sanborn, Francisco Acosta, Fr\'ed\'eric Poitevin,
Nina Miolane
- Abstract要約: ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。
本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
- 参考スコア(独自算出の注目度): 3.604033202771937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Single neurons in neural networks are often interpretable in that they
represent individual, intuitively meaningful features. However, many neurons
exhibit $\textit{mixed selectivity}$, i.e., they represent multiple unrelated
features. A recent hypothesis proposes that features in deep networks may be
represented in $\textit{superposition}$, i.e., on non-orthogonal axes by
multiple neurons, since the number of possible interpretable features in
natural data is generally larger than the number of neurons in a given network.
Accordingly, we should be able to find meaningful directions in activation
space that are not aligned with individual neurons. Here, we propose (1) an
automated method for quantifying visual interpretability that is validated
against a large database of human psychophysics judgments of neuron
interpretability, and (2) an approach for finding meaningful directions in
network activation space. We leverage these methods to discover directions in
convolutional neural networks that are more intuitively meaningful than
individual neurons, as we confirm and investigate in a series of analyses.
Moreover, we apply the same method to three recent datasets of visual neural
responses in the brain and find that our conclusions largely transfer to real
neural data, suggesting that superposition might be deployed by the brain. This
also provides a link with disentanglement and raises fundamental questions
about robust, efficient and factorized representations in both artificial and
biological neural systems.
- Abstract(参考訳): ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
しかし、多くのニューロンは$\textit{mixed selectivity}$、すなわち複数の無関係な特徴を表す。
最近の仮説では、自然データにおける解釈可能な特徴の数は、一般に与えられたネットワーク内のニューロンの数よりも大きいため、深層ネットワークの特徴は、例えば複数のニューロンによって非直交軸上に$\textit{superposition}$で表される可能性がある。
したがって、個々のニューロンと一致しない活性化空間において有意義な方向を見つけることができるべきである。
本稿では,(1) ニューロンの解釈可能性に関するヒトの精神物理学的判断の大規模データベースに対して検証される視覚理解可能性の自動定量化手法と,(2)ネットワーク活性化空間における有意な方向を求める手法を提案する。
我々は、これらの手法を利用して、個々のニューロンよりも直感的に有意な畳み込みニューラルネットワークの方向を探索する。
さらに,脳内の3つの視覚的神経応答のデータセットに同じ手法を適用し,その結論が実際の神経データに大きく移行していることから,重ね合わせが脳によって展開される可能性が示唆された。
これはまた、絡み合いとリンクを提供し、人工神経系と生物学的神経系の両方における堅牢で効率的で分解された表現に関する根本的な疑問を提起する。
関連論文リスト
- Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。
ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。
以上の結果から,ニューロンのスケーラブルな理解は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
論文 参考訳(メタデータ) (2024-06-06T17:59:52Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳(メタデータ) (2024-02-19T09:29:37Z) - Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳(メタデータ) (2023-10-16T17:04:51Z) - Neuron to Graph: Interpreting Language Model Neurons at Scale [8.32093320910416]
本稿では,大規模言語モデル内の多数のニューロンにまたがる解釈可能性手法のスケールアップを目的とした,新しい自動化手法を提案する。
我々は、トレーニングしたデータセットからニューロンの振る舞いを自動的に抽出し、解釈可能なグラフに変換する革新的なツールであるNeuron to Graph(N2G)を提案する。
論文 参考訳(メタデータ) (2023-05-31T14:44:33Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳(メタデータ) (2022-12-08T15:16:04Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳(メタデータ) (2022-01-19T09:26:34Z) - Rapid detection and recognition of whole brain activity in a freely
behaving Caenorhabditis elegans [18.788855494800238]
本稿では,脳神経節ニューロンの長期的,迅速な認識のためのカスケードソリューションを提案する。
少数のトレーニングサンプルの制約の下で、ボトムアップアプローチでは、各ボリューム – 1024倍1024倍18ドル – を1秒未満で処理することができます。
我々の研究は、動物行動に基づく脳の活動全体をデコードするための、迅速かつ完全に自動化されたアルゴリズムに向けた重要な発展を示している。
論文 参考訳(メタデータ) (2021-09-22T01:33:54Z) - NeuroCartography: Scalable Automatic Visual Summarization of Concepts in
Deep Neural Networks [18.62960153659548]
NeuroCartographyは、ニューラルネットワークで学んだ概念を要約し視覚化するインタラクティブシステムである。
同じ概念を検知するニューロンを自動的に発見し、グループ化する。
このようなニューロン群がどのように相互作用し、より高いレベルの概念とその後の予測を形成するかを記述する。
論文 参考訳(メタデータ) (2021-08-29T22:43:52Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳(メタデータ) (2020-06-24T20:37:05Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。