論文の概要: Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning

• arxiv url: http://arxiv.org/abs/2406.06262v1
• Date: Mon, 10 Jun 2024 13:44:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 13:58:00.122063
• Title: Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning
• Title（参考訳）: 階層型ネットワークのモジュール成長--効率的,汎用,ロバストなカリキュラム学習
• Authors: Mani Hamidi, Sina Khajehabdollahi, Emmanouil Giannakakis, Tim Schäfer, Anna Levina, Charley M. Wu,
• Abstract要約: 与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。 モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。 以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structural modularity is a pervasive feature of biological neural networks, which have been linked to several functional and computational advantages. Yet, the use of modular architectures in artificial neural networks has been relatively limited despite early successes. Here, we explore the performance and functional dynamics of a modular network trained on a memory task via an iterative growth curriculum. We find that for a given classical, non-modular recurrent neural network (RNN), an equivalent modular network will perform better across multiple metrics, including training time, generalizability, and robustness to some perturbations. We further examine how different aspects of a modular network's connectivity contribute to its computational capability. We then demonstrate that the inductive bias introduced by the modular topology is strong enough for the network to perform well even when the connectivity within modules is fixed and only the connections between modules are trained. Our findings suggest that gradual modular growth of RNNs could provide advantages for learning increasingly complex tasks on evolutionary timescales, and help build more scalable and compressible artificial networks.
• Abstract（参考訳）: 構造的モジュラリティは、いくつかの機能的および計算上の利点に結びついている、生物学的ニューラルネットワークの広汎な特徴である。 しかし、人工知能におけるモジュラーアーキテクチャの使用は、初期の成功にもかかわらず比較的限られている。 本稿では,反復的成長カリキュラムを用いて,メモリタスクで学習したモジュールネットワークの性能と機能について考察する。 与えられた古典的非モジュラーリカレントニューラルネットワーク(RNN)では、トレーニング時間、一般化可能性、いくつかの摂動に対する堅牢性など、同等のモジュラーネットワークが複数のメトリクスにわたってより優れたパフォーマンスを発揮することが分かっています。 さらに,モジュールネットワークの接続性の違いが,その計算能力に与える影響について検討する。 次に,モジュール間の接続が固定され,モジュール間の接続のみが訓練された場合でも,モジュールトポロジによって引き起こされる帰納的バイアスがネットワークに十分な性能を示すことを示す。 我々の研究結果は、RNNの段階的なモジュラー成長が、進化の時間スケールでますます複雑なタスクを学習する利点をもたらし、よりスケーラブルで圧縮可能な人工ネットワークを構築するのに役立つことを示唆している。

関連論文リスト

• Breaking Neural Network Scaling Laws with Modularity [8.482423139660153]
  一般化に必要なトレーニングデータの量は、タスクの入力の内在的な次元によってどのように異なるかを示す。 そして、この利点を活かすために、モジュールネットワークのための新しい学習ルールを開発します。
  論文  参考訳（メタデータ） (2024-09-09T16:43:09Z)
• Growing Brains: Co-emergence of Anatomical and Functional Modularity in Recurrent Neural Networks [18.375521792153112]
  構成タスクで訓練されたリカレントニューラルネットワーク(RNN)は、機能的なモジュラリティを示すことができる。 我々は、脳に触発されたモジュラートレーニングという最近の機械学習手法を、合成認知タスクの集合を解決するためにトレーニングされているネットワークに適用する。 機能的および解剖学的クラスタリングが同時に出現し、機能的に類似したニューロンが空間的局所化および相互接続されるようになる。
  論文  参考訳（メタデータ） (2023-10-11T17:58:25Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Towards Understanding the Link Between Modularity and Performance in Neural Networks for Reinforcement Learning [2.038038953957366]
  最適性能のためのネットワークモジュラリティの量は、ネットワークの他の多くの特徴と問題環境の間の複雑な関係に絡み合っている可能性が高い。 我々は、ニューラルネットワークアーキテクチャのリッチで自動最適化と探索を可能にする古典的な神経進化アルゴリズムを使用した。
  論文  参考訳（メタデータ） (2022-05-13T05:18:18Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks [10.0444013205203]
  NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。 しかし、現在の検査方法は、モジュールを機能にリンクすることができない。
  論文  参考訳（メタデータ） (2020-10-05T15:04:11Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。