論文の概要: Dynamics of specialization in neural modules under resource constraints
- arxiv url: http://arxiv.org/abs/2106.02626v6
- Date: Sat, 12 Oct 2024 12:17:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:06:00.481032
- Title: Dynamics of specialization in neural modules under resource constraints
- Title(参考訳): 資源制約下における神経モジュールの特殊化のダイナミクス
- Authors: Gabriel Béna, Dan F. M. Goodman,
- Abstract要約: 構造的モジュラリティは機能的特殊化を保証するのに十分であるという仮説を,人工ニューラルネットワークを用いて検証する。
構造的モジュラリティに基づく静的な特殊化の概念は、現実世界の複雑さの状況における知性を理解するためのフレームワークとしては、あまりにも単純すぎると結論付けている。
- 参考スコア(独自算出の注目度): 2.9465623430708905
- License:
- Abstract: It has long been believed that the brain is highly modular both in terms of structure and function, although recent evidence has led some to question the extent of both types of modularity. We used artificial neural networks to test the hypothesis that structural modularity is sufficient to guarantee functional specialization, and find that in general, this doesn't necessarily hold. We then systematically tested which features of the environment and network do lead to the emergence of specialization. We used a simple toy environment, task and network, allowing us precise control, and show that in this setup, several distinct measures of specialization give qualitatively similar results. We further find that in this setup (1) specialization can only emerge in environments where features of that environment are meaningfully separable, (2) specialization preferentially emerges when the network is strongly resource-constrained, and (3) these findings are qualitatively similar across the different variations of network architectures that we tested, but that the quantitative relationships depend on the precise architecture. Finally, we show that functional specialization varies dynamically across time, and demonstrate that these dynamics depend on both the timing and bandwidth of information flow in the network. We conclude that a static notion of specialization, based on structural modularity, is likely too simple a framework for understanding intelligence in situations of real-world complexity, from biology to brain-inspired neuromorphic systems. We propose that thoroughly stress testing candidate definitions of functional modularity in simplified scenarios before extending to more complex data, network models and electrophysiological recordings is likely to be a fruitful approach.
- Abstract(参考訳): 脳は構造と機能の両方において高度にモジュール化されていると長い間信じられてきたが、最近の証拠は両方のモジュラリティの程度に疑問を呈している。
私たちは、構造的モジュラリティが機能的な特殊化を保証するのに十分であるという仮説をテストするために、人工ニューラルネットワークを使用しました。
次に,環境とネットワークのどの特徴が特殊化の出現に繋がるかを系統的に検証した。
我々は,単純な玩具環境,タスク,ネットワークを用いて,精密な制御を可能にし,この設定では,いくつかの異なる特殊化尺度が質的に類似した結果をもたらすことを示す。
さらに,(1) 環境の特徴が有意に分離可能な環境でのみ特殊化が実現可能であること,(2) ネットワークのリソース制約が強い場合に,専門化が優先的に現れること,(3) テストしたネットワークアーキテクチャのさまざまなバリエーションに対して,これらの発見が質的に類似していること,そして,その量的関係が正確なアーキテクチャに依存すること,などが確認された。
最後に,機能的特殊化は時間とともに動的に変化し,ネットワーク内の情報フローのタイミングと帯域幅に依存することを示す。
構造的モジュラリティに基づく静的な特殊化の概念は、生物学から脳にインスパイアされたニューロモルフィックシステムまで、現実世界の複雑さの状況における知性を理解するためのフレームワークとして、あまりにも単純すぎると結論付けている。
より複雑なデータ、ネットワークモデル、電気生理学的記録に拡張する前に、単純化されたシナリオにおける機能的モジュラリティの候補定義を徹底的に強調することが、実りあるアプローチである可能性が示唆された。
関連論文リスト
- Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。
モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。
以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2024-06-10T13:44:07Z) - Independent Modular Networks [3.10678167047537]
モノリシックニューラルネットワークは、データ生成プロセスの構成的性質を排除している。
モジュールを役割に分割するモジュールネットワークアーキテクチャを提案する。
また,モジュール崩壊問題に対するモジュールネットワークのレジリエンスを改善するための正規化も提供する。
論文 参考訳(メタデータ) (2023-06-02T07:29:36Z) - Neural Sculpting: Uncovering hierarchically modular task structure in
neural networks through pruning and network analysis [8.080026425139708]
階層的なモジュラーニューラルネットワークは、学習効率、一般化、マルチタスク学習、転送などの利点を提供する。
本稿では,繰り返し単位とエッジプルーニング(訓練中)に基づくアプローチと,モジュール検出と階層推論のためのネットワーク解析の組み合わせを提案する。
論文 参考訳(メタデータ) (2023-05-28T15:12:32Z) - Building artificial neural circuits for domain-general cognition: a
primer on brain-inspired systems-level architecture [0.0]
本稿では,生体神経ネットワークにフレキシブル認知に必要な機能を持たせることの意義について概説する。
機械学習モデルがより複雑になるにつれて、これらの原則は、可能なアーキテクチャの広大な領域において、価値ある方向を提供するかもしれない。
論文 参考訳(メタデータ) (2023-03-21T18:36:17Z) - Symplectic Momentum Neural Networks -- Using Discrete Variational
Mechanics as a prior in Deep Learning [7.090165638014331]
本稿では,Sypic Momentum Networks (SyMo) を,非分離機械系のメカニクスの離散的な定式化のモデルとして紹介する。
このような組み合わせによって、これらのモデルが限られたデータから得られるだけでなく、シンプレクティックなフォームを保存し、より長期的な振る舞いを示す能力も提供できることが示される。
論文 参考訳(メタデータ) (2022-01-20T16:33:19Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Co-evolution of Functional Brain Network at Multiple Scales during Early
Infancy [52.4179778122852]
乳児の2歳から2歳までの縦断的安静時機能的磁気共鳴画像データセットを応用した。
収集した縦断的幼児データセットに提案手法の枠組みを適用して,脳機能ネットワークが異なるスケールで共進化していることを示す最初の証拠を提示した。
論文 参考訳(メタデータ) (2020-09-15T07:21:04Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳(メタデータ) (2020-08-24T09:49:19Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳(メタデータ) (2020-07-13T17:44:30Z) - Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
NLVR2およびDROPデータセット上でNMNの中間出力を評価する。
中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
論文 参考訳(メタデータ) (2020-05-02T06:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。