論文の概要: Growing Brains: Co-emergence of Anatomical and Functional Modularity in
Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2310.07711v1
- Date: Wed, 11 Oct 2023 17:58:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 21:18:00.859360
- Title: Growing Brains: Co-emergence of Anatomical and Functional Modularity in
Recurrent Neural Networks
- Title(参考訳): 成長する脳 : リカレントニューラルネットワークにおける解剖学的・機能的モジュラリティの融合
- Authors: Ziming Liu, Mikail Khona, Ila R. Fiete, Max Tegmark
- Abstract要約: 構成タスクで訓練されたリカレントニューラルネットワーク(RNN)は、機能的なモジュラリティを示すことができる。
我々は、脳に触発されたモジュラートレーニングという最近の機械学習手法を、合成認知タスクの集合を解決するためにトレーニングされているネットワークに適用する。
機能的および解剖学的クラスタリングが同時に出現し、機能的に類似したニューロンが空間的局所化および相互接続されるようになる。
- 参考スコア(独自算出の注目度): 18.375521792153112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recurrent neural networks (RNNs) trained on compositional tasks can exhibit
functional modularity, in which neurons can be clustered by activity similarity
and participation in shared computational subtasks. Unlike brains, these RNNs
do not exhibit anatomical modularity, in which functional clustering is
correlated with strong recurrent coupling and spatial localization of
functional clusters. Contrasting with functional modularity, which can be
ephemerally dependent on the input, anatomically modular networks form a robust
substrate for solving the same subtasks in the future. To examine whether it is
possible to grow brain-like anatomical modularity, we apply a recent machine
learning method, brain-inspired modular training (BIMT), to a network being
trained to solve a set of compositional cognitive tasks. We find that
functional and anatomical clustering emerge together, such that functionally
similar neurons also become spatially localized and interconnected. Moreover,
compared to standard $L_1$ or no regularization settings, the model exhibits
superior performance by optimally balancing task performance and network
sparsity. In addition to achieving brain-like organization in RNNs, our
findings also suggest that BIMT holds promise for applications in neuromorphic
computing and enhancing the interpretability of neural network architectures.
- Abstract(参考訳): 構成タスクで訓練されたリカレントニューラルネットワーク(RNN)は機能的なモジュラリティを示し、ニューロンは活動類似性と共有計算サブタスクへの参加によってクラスタ化することができる。
脳とは異なり、これらのRNNは解剖学的モジュラリティを示しておらず、機能的クラスタリングは強い再帰結合と機能的クラスタの空間的局在と相関している。
入力に短命に依存できる機能的モジュラリティとは対照的に、解剖学的にモジュール化されたネットワークは、将来同じサブタスクを解決するためのロバストな基盤を形成する。
脳に似た解剖学的モジュラリティを育成できるかどうかを調べるために、脳にインスパイアされたモジュラートレーニング(bimt)という機械学習手法を、一連の構成認知課題を解決するために訓練されたネットワークに適用する。
機能的および解剖学的クラスタリングが同時に出現し、機能的に類似したニューロンが空間的局所化および相互接続されるようになる。
さらに、標準の$L_1$や非正規化設定と比較すると、タスク性能とネットワーク幅を最適にバランスさせることで、優れたパフォーマンスを示す。
RNNにおける脳に似た組織の実現に加えて、BIMTはニューロモルフィックコンピューティングの応用とニューラルネットワークアーキテクチャの解釈可能性の向上を約束していることも示唆している。
関連論文リスト
- Functional connectivity modules in recurrent neural networks: function,
origin and dynamics [41.988864091386766]
加群は入力層から繰り返し層への射影の符号と重みの非対称性から自然に形成されることを示す。
モジュールは、システム動作やダイナミクスの制御において、同様の役割と接続を定義する。
論文 参考訳(メタデータ) (2023-10-31T16:37:01Z) - Transformer-Based Hierarchical Clustering for Brain Network Analysis [13.239896897835191]
本稿では,階層型クラスタ同定と脳ネットワーク分類のための新しい解釈可能なトランスフォーマーモデルを提案する。
階層的クラスタリング(hierarchical clustering)の助けを借りて、このモデルは精度の向上と実行時の複雑性の低減を実現し、脳領域の機能的構造に関する明確な洞察を提供する。
論文 参考訳(メタデータ) (2023-05-06T22:14:13Z) - Seeing is Believing: Brain-Inspired Modular Training for Mechanistic
Interpretability [5.15188009671301]
Brain-Inspired Modular Trainingは、ニューラルネットワークをよりモジュール的で解釈可能なものにする方法である。
BIMTは、ニューロンを幾何学的空間に埋め込み、各ニューロン接続の長さに比例して損失関数を増大させる。
論文 参考訳(メタデータ) (2023-05-04T17:56:42Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳(メタデータ) (2022-05-06T03:45:36Z) - Deep Reinforcement Learning Guided Graph Neural Networks for Brain
Network Analysis [61.53545734991802]
本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。
提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
論文 参考訳(メタデータ) (2022-03-18T07:05:27Z) - Modeling Spatio-Temporal Dynamics in Brain Networks: A Comparison of
Graph Neural Network Architectures [0.5033155053523041]
グラフニューラルネットワーク(GNN)は、新しい構造化グラフ信号の解釈を可能にする。
基板上の局所的な機能的相互作用を学習することにより、GNNベースのアプローチが大規模ネットワーク研究に堅牢に拡張可能であることを示す。
論文 参考訳(メタデータ) (2021-12-08T12:57:13Z) - A Graph Neural Network Framework for Causal Inference in Brain Networks [0.3392372796177108]
神経科学における中心的な問題は、脳内の自律的な動的相互作用が、比較的静的なバックボーンにどのように現れるかである。
構造解剖学的レイアウトに基づく機能的相互作用を記述するグラフニューラルネットワーク(GNN)フレームワークを提案する。
我々は,GNNがデータの長期的依存関係をキャプチャし,大規模ネットワークの解析までスケールアップ可能であることを示す。
論文 参考訳(メタデータ) (2020-10-14T15:01:21Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳(メタデータ) (2020-08-21T19:03:23Z) - Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。
良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
論文 参考訳(メタデータ) (2020-06-18T15:50:57Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。