論文の概要: Extreme sparsity gives rise to functional specialization

• arxiv url: http://arxiv.org/abs/2106.02626v1
• Date: Fri, 4 Jun 2021 17:39:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 16:29:21.661619
• Title: Extreme sparsity gives rise to functional specialization
• Title（参考訳）: 極小空間は機能的特殊化を引き起こす
• Authors: Gabriel B\'ena, Dan F. M. Goodman
• Abstract要約: 構造的モジュラリティの強制は,サブネットワークの機能的特殊化につながることを示す。 我々の結果は神経科学と機械学習の両方に影響を及ぼす。
• 参考スコア（独自算出の注目度）: 2.741266294612776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modularity of neural networks -- both biological and artificial -- can be thought of either structurally or functionally, and the relationship between these is an open question. We show that enforcing structural modularity via sparse connectivity between two dense sub-networks which need to communicate to solve the task leads to functional specialization of the sub-networks, but only at extreme levels of sparsity. With even a moderate number of interconnections, the sub-networks become functionally entangled. Defining functional specialization is in itself a challenging problem without a universally agreed solution. To address this, we designed three different measures of specialization (based on weight masks, retraining and correlation) and found them to qualitatively agree. Our results have implications in both neuroscience and machine learning. For neuroscience, it shows that we cannot conclude that there is functional modularity simply by observing moderate levels of structural modularity: knowing the brain's connectome is not sufficient for understanding how it breaks down into functional modules. For machine learning, using structure to promote functional modularity -- which may be important for robustness and generalization -- may require extremely narrow bottlenecks between modules.
• Abstract（参考訳）: ニューラルネットワーク(生体と人工の両方)のモジュラリティは、構造的にも機能的にも考えることができ、これらの関係はオープンな問題である。 課題を解決するために通信を必要とする2つの密接なサブネットワーク間の疎結合による構造的モジュラリティの強制は、サブネットワークの機能的特殊化につながるが、極端に疎結合である。 適度な数の相互接続でも、サブネットワークは機能的に絡み合っている。 機能的特殊化の定義は、それ自体が普遍的に合意された解決策なしで難しい問題である。 これを解決するために、我々は3つの異なる特殊化尺度(重み付けマスク、リトレーニング、相関に基づく)を設計し、質的に一致することを発見した。 我々の結果は神経科学と機械学習の両方に影響を及ぼす。 脳のコネクトームを知ることは、それがどのように機能的なモジュールに分解されるかを理解するのに十分ではない。 マシンラーニングでは、ロバスト性と一般化に重要な機能的モジュール性を促進するために構造を使用することで、モジュール間のボトルネックが極めて狭くなる可能性がある。

関連論文リスト

• Spatial embedding promotes a specific form of modularity with low entropy and heterogeneous spectral dynamics [0.0]
  空間的に埋め込まれたリカレントニューラルネットワークは、学習よりもネットワークの構造と機能を組み合わせた組織をどのように形成するかを研究するための有望な道を提供する。 我々は,これらの制約を,速度とスパイクニューラルネットワークの両面にわたって,ニューラルウェイトと固有スペクトルのエントロピー測定によって研究することが可能であることを示す。 この作業は、ニューラルネットワークにおける制約付き学習の理解を深め、コーディングスキームやタスクを越えて、同時に構造的および機能的目的に対するソリューションをタンデムで達成する必要がある。
  論文  参考訳（メタデータ） (2024-09-26T10:00:05Z)
• On The Specialization of Neural Modules [16.83151955540625]
  本稿では,データセットの有用な構造に特化し,系統的な一般化を実現するネットワークモジュールの能力について検討する。 その結果、モジュールの特殊化の難しさ、モジュールの専門化を成功させるために必要なもの、モジュールアーキテクチャの体系化の必要性が明らかになった。
  論文  参考訳（メタデータ） (2024-09-23T12:58:11Z)
• Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
  与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。 モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。 以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-10T13:44:07Z)
• Independent Modular Networks [3.10678167047537]
  モノリシックニューラルネットワークは、データ生成プロセスの構成的性質を排除している。 モジュールを役割に分割するモジュールネットワークアーキテクチャを提案する。 また,モジュール崩壊問題に対するモジュールネットワークのレジリエンスを改善するための正規化も提供する。
  論文  参考訳（メタデータ） (2023-06-02T07:29:36Z)
• Towards Understanding the Link Between Modularity and Performance in Neural Networks for Reinforcement Learning [2.038038953957366]
  最適性能のためのネットワークモジュラリティの量は、ネットワークの他の多くの特徴と問題環境の間の複雑な関係に絡み合っている可能性が高い。 我々は、ニューラルネットワークアーキテクチャのリッチで自動最適化と探索を可能にする古典的な神経進化アルゴリズムを使用した。
  論文  参考訳（メタデータ） (2022-05-13T05:18:18Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Co-evolution of Functional Brain Network at Multiple Scales during Early Infancy [52.4179778122852]
  乳児の2歳から2歳までの縦断的安静時機能的磁気共鳴画像データセットを応用した。 収集した縦断的幼児データセットに提案手法の枠組みを適用して,脳機能ネットワークが異なるスケールで共進化していることを示す最初の証拠を提示した。
  論文  参考訳（メタデータ） (2020-09-15T07:21:04Z)
• Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
  我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
  論文  参考訳（メタデータ） (2020-08-24T09:49:19Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)
• Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
  NLVR2およびDROPデータセット上でNMNの中間出力を評価する。 中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。