論文の概要: Feature Superposition in Neural Networks: From Theory to Practice
- arxiv url: http://arxiv.org/abs/2609.06862v1
- Date: Sun, 06 Sep 2026 22:24:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.32782
- Title: Feature Superposition in Neural Networks: From Theory to Practice
- Title（参考訳）: ニューラルネットワークにおける特徴重畳:理論から実践へ
- Abstract要約: 重ね合わせとは、次元よりも多くの特徴を表すニューラルネットワークを指す。
重畳された表現の幾何学、学習、計算を概観し、特徴統計とデコーダの選択が結論にどのように影響するかを説明する。
我々は、予め述べたオープンな問題を評価し、訓練されたネットワークにおける重ね合わせに関する理論的および実証的な疑問を識別する。
- 参考スコア（独自算出の注目度）: 41.616730353916964
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Superposition refers to neural networks representing more features than they have dimensions. It offers a possible explanation for polysemantic neurons and motivates methods for recovering interpretable features from neural activations. Theoretical models typically start with a given set of input features and assumptions about how their values vary across inputs, then study how a network encodes those values in a lower-dimensional hidden representation. Empirical work, by contrast, seeks to identify the features encoded in trained networks and determine their role in computation. In this survey, we review the geometry, learning, and computation of superposed representations, explaining how feature statistics and decoder choice affect the conclusions. To connect these theoretical accounts with evidence from trained networks, we compare practical methods for recovering and analyzing features and examine what their evaluations establish. Since accurate activation reconstruction alone does not establish feature identity or causal use, we discuss the methods' documented failures and applications in light of the evidence available for these different claims. Finally, we assess previously stated open problems and identify remaining theoretical and empirical questions about superposition in trained networks. We hope our work can pave the way for a deeper understanding of superposition and more reliable methods for interpreting neural networks.
- Abstract（参考訳）: 重ね合わせとは、次元よりも多くの特徴を表すニューラルネットワークを指す。
ポリセマンティックニューロンを説明できる可能性を提供し、神経活性化から解釈可能な特徴を回復する手法を動機付けている。
理論モデルは通常、入力の値がどのように異なるかという一連の入力特徴と仮定から始まり、ネットワークがそれらの値を低次元の隠れ表現にエンコードする方法を研究する。
対照的に経験的な研究は、訓練されたネットワークで符号化された特徴を特定し、計算におけるそれらの役割を決定することを目指している。
本稿では,重畳された表現の幾何学,学習,計算を概観し,特徴統計とデコーダの選択が結論にどう影響するかを説明する。
これらの理論的な説明と、訓練されたネットワークからの証拠とを結びつけるために、特徴の回復と分析の実践的手法を比較し、それらの評価が何を確立するかを検討する。
正確なアクティベーション再構築だけでは特徴の同一性や因果的利用は確立しないので,これらの異なる主張に有効な証拠を考慮に入れた手法の文書化失敗や応用について議論する。
最後に, 前述したオープン問題を評価し, トレーニングネットワークにおける重ね合わせに関する理論的, 実証的な疑問を抽出する。
私たちの研究が、重ね合わせのより深い理解と、ニューラルネットワークのより信頼性の高い解釈方法の道を開くことを願っています。
関連論文リスト
- Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。
神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。
私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
論文 参考訳（メタデータ） (2025-05-16T13:49:43Z) - From superposition to sparse codes: interpretable representations in neural networks [3.6738925004882685]
最近の証拠は、ニューラルネットワークが重畳の特徴を符号化していることを示唆している。
本稿では、この現象を説明する視点を示し、ニューラルアクティベーションから解釈可能な表現を抽出するための基盤を提供する。
我々の議論は、ニューラルコーディング理論、AI透明性、ディープラーニングモデルをより解釈可能なものにするというより広い目標に影響を及ぼす。
論文 参考訳（メタデータ） (2025-03-03T18:49:59Z) - Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。
ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。
我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
論文 参考訳（メタデータ） (2024-01-31T16:31:54Z) - Understanding Activation Patterns in Artificial Neural Networks by
Exploring Stochastic Processes [0.0]
我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。
我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。
各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
論文 参考訳（メタデータ） (2023-08-01T22:12:30Z) - Topological Understanding of Neural Networks, a survey [0.0]
一般にブラックボックスとして扱われるニューラルネットワークの内部構造を考察する。
我々は、異なるアクティベーション関数、それらに関連するネットワークアーキテクチャの種類、およびいくつかの経験的データの重要性についてレビューする。
論文 参考訳（メタデータ） (2023-01-23T22:11:37Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳（メタデータ） (2022-10-17T20:15:24Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳（メタデータ） (2022-05-30T18:04:57Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Analyzing Representations inside Convolutional Neural Networks [8.803054559188048]
本稿では,ネットワークが学習する概念を,一連の入力例をクラスタリングする方法に基づいて分類するフレームワークを提案する。
このフレームワークは教師なしで、入力機能のためのラベルなしで機能する。
提案手法を広範に評価し,人間の理解しやすさとコヒーレントな概念を創出することを示す。
論文 参考訳（メタデータ） (2020-12-23T07:10:17Z) - Perceptron Theory Can Predict the Accuracy of Neural Networks [6.136302173351179]
多層ニューラルネットワークは、多くの技術的分類問題に対する技術の現状を定めている。
しかし、これらのネットワークは基本的にはブラックボックスであり、分析してパフォーマンスを予測する。
本稿では, 1層パーセプトロンの統計的理論を開発し, 驚くほど多種多様なニューラルネットワークの性能を予測できることを示す。
論文 参考訳（メタデータ） (2020-12-14T19:02:26Z) - Neuron-based explanations of neural networks sacrifice completeness and interpretability [67.53271920386851]
我々は、ImageNetで事前訓練されたAlexNetに対して、ニューロンに基づく説明法が完全性と解釈可能性の両方を犠牲にすることを示す。
我々は、最も重要な主成分が、最も重要なニューロンよりも完全で解釈可能な説明を提供することを示す。
この結果から,AlexNet などのネットワークに対する説明手法は,ニューロンを埋め込みの基盤として使用するべきではないことが示唆された。
論文 参考訳（メタデータ） (2020-11-05T21:26:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。