論文の概要: Extreme sparsity gives rise to functional specialization
- arxiv url: http://arxiv.org/abs/2106.02626v1
- Date: Fri, 4 Jun 2021 17:39:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-07 16:29:21.661619
- Title: Extreme sparsity gives rise to functional specialization
- Title(参考訳): 極小空間は機能的特殊化を引き起こす
- Authors: Gabriel B\'ena, Dan F. M. Goodman
- Abstract要約: 構造的モジュラリティの強制は,サブネットワークの機能的特殊化につながることを示す。
我々の結果は神経科学と機械学習の両方に影響を及ぼす。
- 参考スコア(独自算出の注目度): 2.741266294612776
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modularity of neural networks -- both biological and artificial -- can be
thought of either structurally or functionally, and the relationship between
these is an open question. We show that enforcing structural modularity via
sparse connectivity between two dense sub-networks which need to communicate to
solve the task leads to functional specialization of the sub-networks, but only
at extreme levels of sparsity. With even a moderate number of interconnections,
the sub-networks become functionally entangled. Defining functional
specialization is in itself a challenging problem without a universally agreed
solution. To address this, we designed three different measures of
specialization (based on weight masks, retraining and correlation) and found
them to qualitatively agree. Our results have implications in both neuroscience
and machine learning. For neuroscience, it shows that we cannot conclude that
there is functional modularity simply by observing moderate levels of
structural modularity: knowing the brain's connectome is not sufficient for
understanding how it breaks down into functional modules. For machine learning,
using structure to promote functional modularity -- which may be important for
robustness and generalization -- may require extremely narrow bottlenecks
between modules.
- Abstract(参考訳): ニューラルネットワーク(生体と人工の両方)のモジュラリティは、構造的にも機能的にも考えることができ、これらの関係はオープンな問題である。
課題を解決するために通信を必要とする2つの密接なサブネットワーク間の疎結合による構造的モジュラリティの強制は、サブネットワークの機能的特殊化につながるが、極端に疎結合である。
適度な数の相互接続でも、サブネットワークは機能的に絡み合っている。
機能的特殊化の定義は、それ自体が普遍的に合意された解決策なしで難しい問題である。
これを解決するために、我々は3つの異なる特殊化尺度(重み付けマスク、リトレーニング、相関に基づく)を設計し、質的に一致することを発見した。
我々の結果は神経科学と機械学習の両方に影響を及ぼす。
脳のコネクトームを知ることは、それがどのように機能的なモジュールに分解されるかを理解するのに十分ではない。
マシンラーニングでは、ロバスト性と一般化に重要な機能的モジュール性を促進するために構造を使用することで、モジュール間のボトルネックが極めて狭くなる可能性がある。
関連論文リスト
- Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。
モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。
以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2024-06-10T13:44:07Z) - Independent Modular Networks [3.10678167047537]
モノリシックニューラルネットワークは、データ生成プロセスの構成的性質を排除している。
モジュールを役割に分割するモジュールネットワークアーキテクチャを提案する。
また,モジュール崩壊問題に対するモジュールネットワークのレジリエンスを改善するための正規化も提供する。
論文 参考訳(メタデータ) (2023-06-02T07:29:36Z) - Neural Sculpting: Uncovering hierarchically modular task structure in
neural networks through pruning and network analysis [8.080026425139708]
階層的なモジュラーニューラルネットワークは、学習効率、一般化、マルチタスク学習、転送などの利点を提供する。
本稿では,繰り返し単位とエッジプルーニング(訓練中)に基づくアプローチと,モジュール検出と階層推論のためのネットワーク解析の組み合わせを提案する。
論文 参考訳(メタデータ) (2023-05-28T15:12:32Z) - Building artificial neural circuits for domain-general cognition: a
primer on brain-inspired systems-level architecture [0.0]
本稿では,生体神経ネットワークにフレキシブル認知に必要な機能を持たせることの意義について概説する。
機械学習モデルがより複雑になるにつれて、これらの原則は、可能なアーキテクチャの広大な領域において、価値ある方向を提供するかもしれない。
論文 参考訳(メタデータ) (2023-03-21T18:36:17Z) - Symplectic Momentum Neural Networks -- Using Discrete Variational
Mechanics as a prior in Deep Learning [7.090165638014331]
本稿では,Sypic Momentum Networks (SyMo) を,非分離機械系のメカニクスの離散的な定式化のモデルとして紹介する。
このような組み合わせによって、これらのモデルが限られたデータから得られるだけでなく、シンプレクティックなフォームを保存し、より長期的な振る舞いを示す能力も提供できることが示される。
論文 参考訳(メタデータ) (2022-01-20T16:33:19Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Co-evolution of Functional Brain Network at Multiple Scales during Early
Infancy [52.4179778122852]
乳児の2歳から2歳までの縦断的安静時機能的磁気共鳴画像データセットを応用した。
収集した縦断的幼児データセットに提案手法の枠組みを適用して,脳機能ネットワークが異なるスケールで共進化していることを示す最初の証拠を提示した。
論文 参考訳(メタデータ) (2020-09-15T07:21:04Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳(メタデータ) (2020-08-24T09:49:19Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳(メタデータ) (2020-07-13T17:44:30Z) - Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
NLVR2およびDROPデータセット上でNMNの中間出力を評価する。
中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
論文 参考訳(メタデータ) (2020-05-02T06:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。