論文の概要: Neural networks are more modular than single neurons suggest
- arxiv url: http://arxiv.org/abs/2610.12842v2
- Date: Wed, 14 Oct 2026 00:08:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:14.999985
- Title: Neural networks are more modular than single neurons suggest
- Title（参考訳）: ニューラルネットワークは単一ニューロンが示唆するよりもモジュラーである
- Abstract要約: モジュラリティの階層化を導入する: 分割されたニューロンを占有するために異なる計算を必要とする単位レベル; 回転が機能的に独立な部分空間を明らかにするかどうかを問う解離; および、有界線型写像がタスク関連計算を独立な部分空間に分離できるかどうかを問う線形化。
ユニットレベルのモジュラリティが欠如しているネットワークは,サブスペースレベルでの明確な機能的モジュラリティを示すことが多い。
- 参考スコア（独自算出の注目度）: 2.6954666679827137
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Neural networks routinely develop representations in which individual neurons contribute to multiple distinct functions, leading to the widespread view that such networks lack modular organization. We challenge this conclusion by introducing a formally nested hierarchy of modularity: unit-level, which requires distinct computations to occupy disjoint neurons; orthogonal, which asks whether a rotation reveals functionally independent subspaces; and linear, which asks whether a bounded linear map can separate task-relevant computations into independent subspaces. We develop a unified framework for learning decompositions at each level and evaluating them causally through selective ablation. Across vision models, language models and multi-task Recurrent Neural Networks (RNNs), we find that networks which lack unit-level modularity nonetheless often exhibit clear functional modularity at the subspace level. In vision and language models, content versus style and syntax versus semantics respectively dissociate under subspace ablation despite sharing overlapping populations of neurons. These learned subspaces also align differentially with brain data, with content and style subspaces predicting higher and lower visual cortex respectively, and semantic subspaces outperforming syntactic ones in predicting language cortex activity. In RNNs trained on multiple cognitive tasks and previously shown to lack modular structure, our decomposition recovers sharp double dissociations between tasks. The absence of unit-level modularity frequently coexists with clear subspace-level modularity across domains, enabling targeted intervention on specific computations even in networks where no individual neuron is specialized, with broad implications for mechanistic interpretability and for understanding functional organization in both biological and artificial neural systems.
- Abstract（参考訳）: ニューラルネットワークは、個々のニューロンが複数の異なる機能に寄与する表現を常用する。
モジュラリティの形式的な入れ子階層を導入することで、この結論に挑戦する: 分割されたニューロンを占有するために異なる計算を必要とする単位レベル、回転が機能的に独立な部分空間を明らかにするかどうかを問う直交、および有界線型写像がタスク関連計算を独立な部分空間に分離できるかどうかを問う線形。
各レベルで分解を学習し、選択的アブレーションにより因果的に評価するための統一的なフレームワークを開発する。
視覚モデルや言語モデル,マルチタスク・リカレントニューラルネットワーク(RNN)などを通じて,ユニットレベルのモジュラリティが欠如しているネットワークが,サブスペースレベルでの明確な機能的モジュラリティを示すことが多いことを発見した。
視覚モデルと言語モデルでは、内容対スタイルと構文対意味論はそれぞれ、重複するニューロンの集団を共有しながら、サブスペースアブレーションの下で解離する。
これらの学習された部分空間は、それぞれ上位と下位の視覚野を予測する内容とスタイルの部分空間と、言語皮質の活動を予測するための構文的部分空間とを相違する。
複数の認知タスクを訓練したRNNでは、以前はモジュラー構造が欠如していることが示されていたが、我々の分解はタスク間の急激な二重解離を回復する。
単位レベルのモジュラリティの欠如は、ドメイン間の明確な部分空間レベルのモジュラリティと頻繁に共存し、個々のニューロンが特殊化されていないネットワークにおいても特定の計算へのターゲット的介入を可能にする。
関連論文リスト
- Modular Cognitive Architecture Emerges in Large Language Models [51.37019362803327]
大規模言語モデルが人間の脳を反映するモジュラーアーキテクチャを開発することを示す。
脳やニューラルネットワークにおけるモジュラリティの収束性の出現は、インテリジェントシステムの基本的な性質である可能性を示唆している。
論文 参考訳（メタデータ） (2026-06-27T01:56:22Z) - Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。
神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。
私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
論文 参考訳（メタデータ） (2025-05-16T13:49:43Z) - Spatial embedding promotes a specific form of modularity with low entropy and heterogeneous spectral dynamics [0.0]
空間的に埋め込まれたリカレントニューラルネットワークは、学習よりもネットワークの構造と機能を組み合わせた組織をどのように形成するかを研究するための有望な道を提供する。
我々は,これらの制約を,速度とスパイクニューラルネットワークの両面にわたって,ニューラルウェイトと固有スペクトルのエントロピー測定によって研究することが可能であることを示す。
この作業は、ニューラルネットワークにおける制約付き学習の理解を深め、コーディングスキームやタスクを越えて、同時に構造的および機能的目的に対するソリューションをタンデムで達成する必要がある。
論文 参考訳（メタデータ） (2024-09-26T10:00:05Z) - Modular Boundaries in Recurrent Neural Networks [39.626497874552555]
我々は、モジュール性として知られるネットワーク科学のコミュニティ検出手法を用いて、ニューロンを異なるモジュールに分割する。
これらのモジュラー境界はシステムにとって重要か?
論文 参考訳（メタデータ） (2023-10-31T16:37:01Z) - Growing Brains: Co-emergence of Anatomical and Functional Modularity in
Recurrent Neural Networks [18.375521792153112]
構成タスクで訓練されたリカレントニューラルネットワーク(RNN)は、機能的なモジュラリティを示すことができる。
我々は、脳に触発されたモジュラートレーニングという最近の機械学習手法を、合成認知タスクの集合を解決するためにトレーニングされているネットワークに適用する。
機能的および解剖学的クラスタリングが同時に出現し、機能的に類似したニューロンが空間的局所化および相互接続されるようになる。
論文 参考訳（メタデータ） (2023-10-11T17:58:25Z) - Seeing is Believing: Brain-Inspired Modular Training for Mechanistic
Interpretability [5.15188009671301]
Brain-Inspired Modular Trainingは、ニューラルネットワークをよりモジュール的で解釈可能なものにする方法である。
BIMTは、ニューロンを幾何学的空間に埋め込み、各ニューロン接続の長さに比例して損失関数を増大させる。
論文 参考訳（メタデータ） (2023-05-04T17:56:42Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Convolutional Neural Networks for cytoarchitectonic brain mapping at
large scale [0.33727511459109777]
今回我々は,ヒト後脳の多数の細胞体染色組織における細胞構造学的領域をマッピングするための新しいワークフローを提案する。
これはDeep Convolutional Neural Network (CNN)に基づいており、アノテーション付きの一対のセクションイメージに基づいてトレーニングされており、その間に多数の注釈のないセクションがある。
新しいワークフローは、セクションの3D再構成を必要とせず、組織学的アーティファクトに対して堅牢である。
論文 参考訳（メタデータ） (2020-11-25T16:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。