論文の概要: Dynamics of specialization in neural modules under resource constraints
- arxiv url: http://arxiv.org/abs/2106.02626v4
- Date: Tue, 3 Oct 2023 08:25:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 10:59:04.544562
- Title: Dynamics of specialization in neural modules under resource constraints
- Title(参考訳): 資源制約下における神経モジュールの特殊化のダイナミクス
- Authors: Gabriel B\'ena, Dan F. M. Goodman
- Abstract要約: 構造的モジュラリティは機能的特殊化を保証するのに十分であるという仮説を,人工ニューラルネットワークを用いて検証する。
構造的モジュラリティに基づく静的な特殊化の概念は、現実世界の複雑さの状況における知性を理解するためのフレームワークとしては、あまりにも単純すぎると結論付けている。
- 参考スコア(独自算出の注目度): 3.48097307252416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It has long been believed that the brain is highly modular both in terms of
structure and function, although recent evidence has led some to question the
extent of both types of modularity. We used artificial neural networks to test
the hypothesis that structural modularity is sufficient to guarantee functional
specialization, and find that in general, this doesn't necessarily hold except
at extreme levels. We then systematically tested which features of the
environment and network do lead to the emergence of specialization. We used a
simple toy environment, task and network, allowing us precise control, and show
that in this setup, several distinct measures of specialization give
qualitatively similar results. We further find that (1) specialization can only
emerge in environments where features of that environment are meaningfully
separable, (2) specialization preferentially emerges when the network is
strongly resource-constrained, and (3) these findings are qualitatively similar
across different network architectures, but the quantitative relationships
depends on the architecture type. Finally, we show that functional
specialization varies dynamically across time, and demonstrate that these
dynamics depend on both the timing and bandwidth of information flow in the
network. We conclude that a static notion of specialization, based on
structural modularity, is likely too simple a framework for understanding
intelligence in situations of real-world complexity, from biology to
brain-inspired neuromorphic systems. We propose that thoroughly stress testing
candidate definitions of functional modularity in simplified scenarios before
extending to more complex data, network models and electrophysiological
recordings is likely to be a fruitful approach.
- Abstract(参考訳): 脳は構造と機能の両方において高度にモジュール化されていると長い間信じられてきたが、最近の証拠は両方のモジュラリティの程度に疑問を呈している。
私たちは、構造的モジュラリティが機能的な特殊化を保証するのに十分であるという仮説をテストするために、人工ニューラルネットワークを使用しました。
次に,環境とネットワークのどの特徴が特殊化の出現に繋がるかを体系的にテストした。
我々は,簡単な玩具環境,タスク,ネットワークを用いて,精密な制御を可能にし,この設定では,いくつかの異なる特殊化尺度が質的に類似した結果をもたらすことを示す。
さらに,(1) 環境の特徴が有意に分離可能な環境でのみ特殊化が実現可能であること,(2) ネットワークのリソース制約が強い場合に優先的に特殊化が生じること,(3) それらの発見は異なるネットワークアーキテクチャ間で質的に類似しているが,量的関係はアーキテクチャタイプに依存している。
最後に,機能的特殊化は時間ごとに動的に変化し,そのダイナミクスがネットワーク内の情報フローのタイミングと帯域に依存することを示した。
構造的モジュラリティに基づく静的な特殊化の概念は、生物学から脳に触発された神経形態学まで、現実世界の複雑さの状況における知性を理解するためのフレームワークとしてあまりにも単純すぎると結論づける。
より複雑なデータ、ネットワークモデル、電気生理学的記録に拡張する前に、単純化されたシナリオで機能的モジュラリティの候補を徹底的にテストすることを提案することは、実りあるアプローチである可能性が高い。
関連論文リスト
- Independent Modular Networks [3.10678167047537]
モノリシックニューラルネットワークは、データ生成プロセスの構成的性質を排除している。
モジュールを役割に分割するモジュールネットワークアーキテクチャを提案する。
また,モジュール崩壊問題に対するモジュールネットワークのレジリエンスを改善するための正規化も提供する。
論文 参考訳(メタデータ) (2023-06-02T07:29:36Z) - Neural Sculpting: Uncovering hierarchically modular task structure in
neural networks through pruning and network analysis [8.080026425139708]
階層的なモジュラーニューラルネットワークは、学習効率、一般化、マルチタスク学習、転送などの利点を提供する。
本稿では,繰り返し単位とエッジプルーニング(訓練中)に基づくアプローチと,モジュール検出と階層推論のためのネットワーク解析の組み合わせを提案する。
論文 参考訳(メタデータ) (2023-05-28T15:12:32Z) - Building artificial neural circuits for domain-general cognition: a
primer on brain-inspired systems-level architecture [0.0]
本稿では,生体神経ネットワークにフレキシブル認知に必要な機能を持たせることの意義について概説する。
機械学習モデルがより複雑になるにつれて、これらの原則は、可能なアーキテクチャの広大な領域において、価値ある方向を提供するかもしれない。
論文 参考訳(メタデータ) (2023-03-21T18:36:17Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳(メタデータ) (2023-02-22T18:11:25Z) - Modeling Structure with Undirected Neural Networks [20.506232306308977]
任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。
さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
論文 参考訳(メタデータ) (2022-02-08T10:06:51Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Co-evolution of Functional Brain Network at Multiple Scales during Early
Infancy [52.4179778122852]
乳児の2歳から2歳までの縦断的安静時機能的磁気共鳴画像データセットを応用した。
収集した縦断的幼児データセットに提案手法の枠組みを適用して,脳機能ネットワークが異なるスケールで共進化していることを示す最初の証拠を提示した。
論文 参考訳(メタデータ) (2020-09-15T07:21:04Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳(メタデータ) (2020-08-24T09:49:19Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳(メタデータ) (2020-07-13T17:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。