論文の概要: Modularity in NEAT Reinforcement Learning Networks

• arxiv url: http://arxiv.org/abs/2205.06451v1
• Date: Fri, 13 May 2022 05:18:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-16 22:51:25.293274
• Title: Modularity in NEAT Reinforcement Learning Networks
• Title（参考訳）: NEAT強化学習ネットワークにおけるモジュール性
• Authors: Humphrey Munn, Marcus Gallagher
• Abstract要約: 本稿では,拡張トポロジのNeuroEvolution of Augmenting Topologies (NEAT)ネットワークが時間とともに急速にモジュール性を高めていることを示す。 意外なことに、NEATはネットワークの適合度が収束してもモジュラーネットワークが増加する傾向にある。 探索されたパラメータ空間におけるネットワークモジュラリティの理想的なレベルは他のネットワーク変数に大きく依存していることが示されている。
• 参考スコア（独自算出の注目度）: 4.9444321684311925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modularity is essential to many well-performing structured systems, as it is a useful means of managing complexity [8]. An analysis of modularity in neural networks produced by machine learning algorithms can offer valuable insight into the workings of such algorithms and how modularity can be leveraged to improve performance. However, this property is often overlooked in the neuroevolutionary literature, so the modular nature of many learning algorithms is unknown. This property was assessed on the popular algorithm "NeuroEvolution of Augmenting Topologies" (NEAT) for standard simulation benchmark control problems due to NEAT's ability to optimise network topology. This paper shows that NEAT networks seem to rapidly increase in modularity over time with the rate and convergence dependent on the problem. Interestingly, NEAT tends towards increasingly modular networks even when network fitness converges. It was shown that the ideal level of network modularity in the explored parameter space is highly dependent on other network variables, dispelling theories that modularity has a straightforward relationship to network performance. This is further proven in this paper by demonstrating that rewarding modularity directly did not improve fitness.
• Abstract（参考訳）: モジュール化は、多くのよく機能する構造化システムにとって不可欠であり、複雑さを管理する有用な手段です [8]。 機械学習アルゴリズムが生成するニューラルネットワークのモジュラリティの分析は、そのようなアルゴリズムの動作と、モジュラリティをパフォーマンスを改善するためにどのように活用できるかについての貴重な洞察を提供することができる。 しかし、この性質はしばしば神経進化学の文献で見過ごされているため、多くの学習アルゴリズムのモジュラー性は不明である。 この特性は、ネットワークトポロジを最適化するNEATの能力により、標準的なシミュレーションベンチマーク制御問題に対して、一般的なアルゴリズムであるNeuroEvolution of Augmenting Topologies (NEAT)に基づいて評価された。 本稿では,問題に依存する速度と収束率によって,ネットワークのモジュール性が急速に向上していることを示す。 興味深いことに、NEATはネットワークの適合度が収束してもモジュラーネットワークが増加する傾向にある。 検討されたパラメータ空間におけるネットワークモジュラリティの理想的なレベルは、他のネットワーク変数に大きく依存しており、モジュラリティがネットワーク性能と直接的な関係を持つという理論を廃止している。 この結果は,モジュール性が直接的に向上しなかったことを実証することで,さらに証明されている。

関連論文リスト

• Breaking Neural Network Scaling Laws with Modularity [8.482423139660153]
  一般化に必要なトレーニングデータの量は、タスクの入力の内在的な次元によってどのように異なるかを示す。 そして、この利点を活かすために、モジュールネットワークのための新しい学習ルールを開発します。
  論文  参考訳（メタデータ） (2024-09-09T16:43:09Z)
• Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
  与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。 モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。 以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-10T13:44:07Z)
• Power-Enhanced Residual Network for Function Approximation and Physics-Informed Inverse Problems [0.0]
  本稿では、パワーエンハンシング残差ネットワークと呼ばれる新しいニューラルネットワーク構造を提案する。 2Dおよび3D設定におけるスムーズかつ非スムーズな関数近似のネットワーク機能を改善する。 その結果、特に非滑らか関数に対して、提案したパワーエンハンシング残差ネットワークの例外的精度を強調した。
  論文  参考訳（メタデータ） (2023-10-24T10:01:15Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna Tuning [60.94661435297309]
  モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。 本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。 シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
  論文  参考訳（メタデータ） (2023-01-20T17:06:34Z)
• Learn to Communicate with Neural Calibration: Scalability and Generalization [10.775558382613077]
  本稿では,将来の無線システム設計のためのスケーラブルで一般化可能なニューラルネットワークキャリブレーションフレームワークを提案する。 提案するニューラルキャリブレーションフレームワークは,大規模マルチインプットマルチアウトプット(MIMO)システムにおける資源管理の課題を解決するために応用される。
  論文  参考訳（メタデータ） (2021-10-01T09:00:25Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks [10.0444013205203]
  NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。 しかし、現在の検査方法は、モジュールを機能にリンクすることができない。
  論文  参考訳（メタデータ） (2020-10-05T15:04:11Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。