論文の概要: Understanding polysemanticity in neural networks through coding theory
- arxiv url: http://arxiv.org/abs/2401.17975v1
- Date: Wed, 31 Jan 2024 16:31:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 13:51:24.925427
- Title: Understanding polysemanticity in neural networks through coding theory
- Title(参考訳): 符号化理論によるニューラルネットワークの多意味性理解
- Authors: Simon C. Marshall and Jan H. Kirchner
- Abstract要約: 本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。
ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。
我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
- 参考スコア(独自算出の注目度): 0.8702432681310401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite substantial efforts, neural network interpretability remains an
elusive goal, with previous research failing to provide succinct explanations
of most single neurons' impact on the network output. This limitation is due to
the polysemantic nature of most neurons, whereby a given neuron is involved in
multiple unrelated network states, complicating the interpretation of that
neuron. In this paper, we apply tools developed in neuroscience and information
theory to propose both a novel practical approach to network interpretability
and theoretical insights into polysemanticity and the density of codes. We
infer levels of redundancy in the network's code by inspecting the
eigenspectrum of the activation's covariance matrix. Furthermore, we show how
random projections can reveal whether a network exhibits a smooth or
non-differentiable code and hence how interpretable the code is. This same
framework explains the advantages of polysemantic neurons to learning
performance and explains trends found in recent results by Elhage et
al.~(2022). Our approach advances the pursuit of interpretability in neural
networks, providing insights into their underlying structure and suggesting new
avenues for circuit-level interpretability.
- Abstract(参考訳): 相当な努力にもかかわらず、ニューラルネットワークの解釈性はいまだに難解な目標であり、これまでの研究では、ほとんどの単一ニューロンがネットワーク出力に与える影響を簡潔に説明できなかった。
この制限は、与えられたニューロンが複数の無関係なネットワーク状態に関与し、そのニューロンの解釈を複雑にする、多くのニューロンの多神論的性質に起因する。
本稿では,神経科学と情報理論で開発されたツールを用いて,ネットワーク解釈可能性に対する新しい実践的アプローチと,多意味性と符号密度に対する理論的洞察を提案する。
我々は、アクティベーションの共分散行列の固有スペクトルを検査することにより、ネットワークのコードの冗長性のレベルを推定する。
さらに,ネットワークがスムースあるいは非微分可能なコードを示すかどうかをランダムに投影することで,コードがどの程度解釈可能であるかを示す。
このフレームワークは多節性ニューロンの学習性能に対する利点を説明し、Elhageらによる最近の結果に見られる傾向を説明する。
~(2022).
我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基礎構造に対する洞察を与え、回路レベルの解釈可能性のための新しい方法を提案する。
関連論文リスト
- Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳(メタデータ) (2023-10-16T17:04:51Z) - DISCOVER: Making Vision Networks Interpretable via Competition and
Dissection [11.028520416752325]
この研究は、ポストホック解釈可能性、特にネットワーク分割に寄与する。
私たちのゴールは、視覚タスクで訓練されたネットワークにおいて、各ニューロンの個々の機能を容易に発見できるフレームワークを提供することです。
論文 参考訳(メタデータ) (2023-10-07T21:57:23Z) - SPADE: Sparsity-Guided Debugging for Deep Neural Networks [39.50058754026165]
解釈可能性(英: Interpretability)は、ディープラーニング理論と実践の交差における重要なオープンゴールの1つである。
本研究では,サンプル対象プルーニングを用いて,サンプル上でのネットワーク実行の"トレース"を提供するSPADEを提案する。
以上の結果から,複数面ニューロンを切断し,一貫した解釈性の向上が期待できることがわかった。
論文 参考訳(メタデータ) (2023-10-06T18:28:33Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳(メタデータ) (2022-06-13T12:03:32Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳(メタデータ) (2022-05-30T18:04:57Z) - NFT-K: Non-Fungible Tangent Kernels [23.93508901712177]
我々は、ディープニューラルネットワークの各層を個別にモデル化する複数のニューラルネットワークカーネルの組み合わせとして、新しいネットワークを開発する。
2つのデータセット上でこのモデルの解釈可能性を示し、複数のカーネルモデルが層と予測の間の相互作用を解明することを示した。
論文 参考訳(メタデータ) (2021-10-11T00:35:47Z) - On 1/n neural representation and robustness [13.491651740693705]
実験で観測された構造をニューラルネットワークに組み込むことで、敵の攻撃に対してより堅牢であることを示す。
本研究は,広いニューラルネットワークとカーネル手法に関する既存の理論を補完するものである。
論文 参考訳(メタデータ) (2020-12-08T20:34:49Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。