論文の概要: Dynamics of specialization in neural modules under resource constraints
- arxiv url: http://arxiv.org/abs/2106.02626v6
- Date: Sat, 12 Oct 2024 12:17:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:06:00.481032
- Title: Dynamics of specialization in neural modules under resource constraints
- Title（参考訳）: 資源制約下における神経モジュールの特殊化のダイナミクス
- Authors: Gabriel Béna, Dan F. M. Goodman,
- Abstract要約: 構造的モジュラリティは機能的特殊化を保証するのに十分であるという仮説を,人工ニューラルネットワークを用いて検証する。
構造的モジュラリティに基づく静的な特殊化の概念は、現実世界の複雑さの状況における知性を理解するためのフレームワークとしては、あまりにも単純すぎると結論付けている。
- 参考スコア（独自算出の注目度）: 2.9465623430708905
- License:
- Abstract: It has long been believed that the brain is highly modular both in terms of structure and function, although recent evidence has led some to question the extent of both types of modularity. We used artificial neural networks to test the hypothesis that structural modularity is sufficient to guarantee functional specialization, and find that in general, this doesn't necessarily hold. We then systematically tested which features of the environment and network do lead to the emergence of specialization. We used a simple toy environment, task and network, allowing us precise control, and show that in this setup, several distinct measures of specialization give qualitatively similar results. We further find that in this setup (1) specialization can only emerge in environments where features of that environment are meaningfully separable, (2) specialization preferentially emerges when the network is strongly resource-constrained, and (3) these findings are qualitatively similar across the different variations of network architectures that we tested, but that the quantitative relationships depend on the precise architecture. Finally, we show that functional specialization varies dynamically across time, and demonstrate that these dynamics depend on both the timing and bandwidth of information flow in the network. We conclude that a static notion of specialization, based on structural modularity, is likely too simple a framework for understanding intelligence in situations of real-world complexity, from biology to brain-inspired neuromorphic systems. We propose that thoroughly stress testing candidate definitions of functional modularity in simplified scenarios before extending to more complex data, network models and electrophysiological recordings is likely to be a fruitful approach.
- Abstract（参考訳）: 脳は構造と機能の両方において高度にモジュール化されていると長い間信じられてきたが、最近の証拠は両方のモジュラリティの程度に疑問を呈している。
私たちは、構造的モジュラリティが機能的な特殊化を保証するのに十分であるという仮説をテストするために、人工ニューラルネットワークを使用しました。
次に,環境とネットワークのどの特徴が特殊化の出現に繋がるかを系統的に検証した。
我々は,単純な玩具環境,タスク,ネットワークを用いて,精密な制御を可能にし,この設定では,いくつかの異なる特殊化尺度が質的に類似した結果をもたらすことを示す。
さらに,(1) 環境の特徴が有意に分離可能な環境でのみ特殊化が実現可能であること,(2) ネットワークのリソース制約が強い場合に,専門化が優先的に現れること,(3) テストしたネットワークアーキテクチャのさまざまなバリエーションに対して,これらの発見が質的に類似していること,そして,その量的関係が正確なアーキテクチャに依存すること,などが確認された。
最後に,機能的特殊化は時間とともに動的に変化し,ネットワーク内の情報フローのタイミングと帯域幅に依存することを示す。
構造的モジュラリティに基づく静的な特殊化の概念は、生物学から脳にインスパイアされたニューロモルフィックシステムまで、現実世界の複雑さの状況における知性を理解するためのフレームワークとして、あまりにも単純すぎると結論付けている。
より複雑なデータ、ネットワークモデル、電気生理学的記録に拡張する前に、単純化されたシナリオにおける機能的モジュラリティの候補定義を徹底的に強調することが、実りあるアプローチである可能性が示唆された。
関連論文リスト
- Spatial embedding promotes a specific form of modularity with low entropy and heterogeneous spectral dynamics [0.0]
空間的に埋め込まれたリカレントニューラルネットワークは、学習よりもネットワークの構造と機能を組み合わせた組織をどのように形成するかを研究するための有望な道を提供する。
我々は,これらの制約を,速度とスパイクニューラルネットワークの両面にわたって,ニューラルウェイトと固有スペクトルのエントロピー測定によって研究することが可能であることを示す。
この作業は、ニューラルネットワークにおける制約付き学習の理解を深め、コーディングスキームやタスクを越えて、同時に構造的および機能的目的に対するソリューションをタンデムで達成する必要がある。
論文 参考訳（メタデータ） (2024-09-26T10:00:05Z) - On The Specialization of Neural Modules [16.83151955540625]
本稿では,データセットの有用な構造に特化し,系統的な一般化を実現するネットワークモジュールの能力について検討する。
その結果、モジュールの特殊化の難しさ、モジュールの専門化を成功させるために必要なもの、モジュールアーキテクチャの体系化の必要性が明らかになった。
論文 参考訳（メタデータ） (2024-09-23T12:58:11Z) - Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。
モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。
以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
論文 参考訳（メタデータ） (2024-06-10T13:44:07Z) - Independent Modular Networks [3.10678167047537]
モノリシックニューラルネットワークは、データ生成プロセスの構成的性質を排除している。
モジュールを役割に分割するモジュールネットワークアーキテクチャを提案する。
また,モジュール崩壊問題に対するモジュールネットワークのレジリエンスを改善するための正規化も提供する。
論文 参考訳（メタデータ） (2023-06-02T07:29:36Z) - Towards Understanding the Link Between Modularity and Performance in Neural Networks for Reinforcement Learning [2.038038953957366]
最適性能のためのネットワークモジュラリティの量は、ネットワークの他の多くの特徴と問題環境の間の複雑な関係に絡み合っている可能性が高い。
我々は、ニューラルネットワークアーキテクチャのリッチで自動最適化と探索を可能にする古典的な神経進化アルゴリズムを使用した。
論文 参考訳（メタデータ） (2022-05-13T05:18:18Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Co-evolution of Functional Brain Network at Multiple Scales during Early
Infancy [52.4179778122852]
乳児の2歳から2歳までの縦断的安静時機能的磁気共鳴画像データセットを応用した。
収集した縦断的幼児データセットに提案手法の枠組みを適用して,脳機能ネットワークが異なるスケールで共進化していることを示す最初の証拠を提示した。
論文 参考訳（メタデータ） (2020-09-15T07:21:04Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳（メタデータ） (2020-08-24T09:49:19Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳（メタデータ） (2020-07-13T17:44:30Z) - Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
NLVR2およびDROPデータセット上でNMNの中間出力を評価する。
中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
論文 参考訳（メタデータ） (2020-05-02T06:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。