論文の概要: Collective Learning by Ensembles of Altruistic Diversifying Neural Networks

• arxiv url: http://arxiv.org/abs/2006.11671v1
• Date: Sat, 20 Jun 2020 22:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 21:53:32.697333
• Title: Collective Learning by Ensembles of Altruistic Diversifying Neural Networks
• Title（参考訳）: 利他的多角化ニューラルネットワークのアンサンブルによる集団学習
• Authors: Benjamin Brazowski and Elad Schneidman
• Abstract要約: 本稿では,対話型ニューラルネットワークの集合による協調学習モデルを提案する。 相互作用するネットワークのアンサンブルは独立したネットワークよりも優れており、ネットワーク間の結合が多様性を高め、個々のネットワークの性能を低下させるときに最適なアンサンブル性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining the predictions of collections of neural networks often outperforms the best single network. Such ensembles are typically trained independently, and their superior `wisdom of the crowd' originates from the differences between networks. Collective foraging and decision making in socially interacting animal groups is often improved or even optimal thanks to local information sharing between conspecifics. We therefore present a model for co-learning by ensembles of interacting neural networks that aim to maximize their own performance but also their functional relations to other networks. We show that ensembles of interacting networks outperform independent ones, and that optimal ensemble performance is reached when the coupling between networks increases diversity and degrades the performance of individual networks. Thus, even without a global goal for the ensemble, optimal collective behavior emerges from local interactions between networks. We show the scaling of optimal coupling strength with ensemble size, and that networks in these ensembles specialize functionally and become more `confident' in their assessments. Moreover, optimal co-learning networks differ structurally, relying on sparser activity, a wider range of synaptic weights, and higher firing rates - compared to independently trained networks. Finally, we explore interactions-based co-learning as a framework for expanding and boosting ensembles.
• Abstract（参考訳）: ニューラルネットワークの集合の予測を組み合わせることは、しばしば最良の単一ネットワークを上回る。 このようなアンサンブルは通常独立して訓練され、その優れた「群衆の知恵」はネットワーク間の差異から生じる。 社会的に相互作用する動物集団における集団的捕食と意思決定は、共種間の情報共有によってしばしば改善される。 そこで本研究では,自己のパフォーマンスを最大化するとともに,他のネットワークとの機能的関係をも高めるために,相互作用するニューラルネットワークのアンサンブルによる協調学習モデルを提案する。 相互作用するネットワークのアンサンブルは独立したネットワークよりも優れており、ネットワーク間の結合が多様性を高め、個々のネットワークの性能を低下させるときに最適なアンサンブル性能が得られることを示す。 したがって、アンサンブルのグローバルな目標がなくても、ネットワーク間の局所的な相互作用から最適な集合行動が生まれる。 これらのアンサンブルにおける最適結合強度とアンサンブルサイズとのスケーリングを示し,ネットワークが機能的に特化し,その評価においてより信頼度の高いものとなることを示す。 さらに、最適なコラーニングネットワークは、独立したトレーニングされたネットワークと比較して、スペーサーアクティビティ、幅広いシナプス重み、より高い発火率に依存するため、構造的に異なる。 最後に,アンサンブルの拡張と強化のためのフレームワークとして,インタラクションベースのコラーニングについて検討する。

関連論文リスト

• Neural Subnetwork Ensembles [2.44755919161855]
  この論文は、Subnetwork Ensemblesを構築するための低コストのフレームワークを導入し、形式化する。 児童ネットワークは、訓練された親モデルからのサンプリング、摂動、最適化によって形成される。 その結果,本手法はトレーニング効率,パラメトリック利用,一般化性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-11-23T17:01:16Z)
• Hierarchical Multi-Marginal Optimal Transport for Network Alignment [52.206006379563306]
  マルチネットワークアライメントは,複数ネットワーク上での協調学習に必須の要件である。 マルチネットワークアライメントのための階層型マルチマージ最適トランスポートフレームワークHOTを提案する。 提案するHOTは,有効性とスケーラビリティの両面で,最先端の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-10-06T02:35:35Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Reward-Sharing Relational Networks in Multi-Agent Reinforcement Learning as a Framework for Emergent Behavior [0.0]
  ユーザ定義リレーショナルネットワークを通じて,ソーシャルなインタラクションをMARLセットアップに統合する。 エージェントとエージェントの関係が創発行動の出現に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2022-07-12T23:27:42Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• The Impact of Network Connectivity on Collective Learning [1.370633147306388]
  分散自律システムでは、システムの集団行動を管理する個々のエージェント間の相互作用である。 本稿では,ネットワークが集団学習の文脈における性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2021-06-01T17:39:26Z)
• Competing Adaptive Networks [56.56653763124104]
  適応エージェントのチーム間での分散競争のためのアルゴリズムを開発する。 本稿では,生成的対向ニューラルネットワークの分散学習への応用について述べる。
  論文  参考訳（メタデータ） (2021-03-29T14:42:15Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• A Comparative Study of Social Network Classifiers for Predicting Churn in the Telecommunication Industry [8.592714155264613]
  ネットワーク学習は多くの研究で有効であることが示されている。 これらの手法は、電信企業における顧客の混乱を予測するために適応されている。
  論文  参考訳（メタデータ） (2020-01-18T17:05:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。