論文の概要: Modularity based linkage model for neuroevolution

• arxiv url: http://arxiv.org/abs/2306.01227v1
• Date: Fri, 2 Jun 2023 01:32:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 17:02:26.228868
• Title: Modularity based linkage model for neuroevolution
• Title（参考訳）: モジュール性に基づく神経進化の連鎖モデル
• Authors: Yukai Qiao and Marcus Gallagher
• Abstract要約: ニューラルネットワーク間の交差は、接続重み間の強い機能的依存のために破壊的であると考えられている。 機能的依存型コミュニティを維持するために,重みレベルでモジュール性に基づくリンクモデルを提案する。 我々のアルゴリズムは、より良い、より機能的に依存したリンクを見つけ、より良いクロスオーバーとより良いパフォーマンスをもたらす。
• 参考スコア（独自算出の注目度）: 4.9444321684311925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Crossover between neural networks is considered disruptive due to the strong functional dependency between connection weights. We propose a modularity-based linkage model at the weight level to preserve functionally dependent communities (building blocks) in neural networks during mixing. A proximity matrix is built by estimating the dependency between weights, then a community detection algorithm maximizing modularity is run on the graph described by such matrix. The resulting communities/groups of parameters are considered to be mutually independent and used as crossover masks in an optimal mixing EA. A variant is tested with an operator that neutralizes the permutation problem of neural networks to a degree. Experiments were performed on 8 and 10-bit parity problems as the intrinsic hierarchical nature of the dependencies in these problems are challenging to learn. The results show that our algorithm finds better, more functionally dependent linkage which leads to more successful crossover and better performance.
• Abstract（参考訳）: ニューラルネットワーク間の交差は、接続重み間の強い機能的依存のために破壊的であると考えられている。 本稿では,ニューラルネットワークの混合時の機能的依存コミュニティ(ビルディングブロック)を維持するために,重みレベルでモジュール性に基づくリンクモデルを提案する。 重みの間の依存性を推定して近接行列を構築し、その行列によって記述されたグラフ上でモジュラリティを最大化するコミュニティ検出アルゴリズムを実行する。 得られたパラメータのコミュニティ/グループは相互独立であり、最適な混合eaにおいてクロスオーバーマスクとして使用される。 変種は、ニューラルネットワークの置換問題をある程度中和するオペレータによってテストされる。 8ビットと10ビットのパリティ問題に対して実験を行った。 その結果,アルゴリズムはより良く機能的に依存するリンクが得られ,クロスオーバーと性能が向上することがわかった。

関連論文リスト

• Message Passing Variational Autoregressive Network for Solving Intractable Ising Models [6.261096199903392]
  自己回帰型ニューラルネットワーク、畳み込み型ニューラルネットワーク、リカレントニューラルネットワーク、グラフニューラルネットワークなど、多くのディープニューラルネットワークがIsingモデルの解決に使用されている。 本稿では、スピン変数間の相互作用を効果的に活用できるメッセージパッシング機構を備えた変分自己回帰アーキテクチャを提案する。 新しいネットワークは、アニーリングフレームワークの下で訓練され、いくつかの原型スピンハミルトニアンの解法、特に低温での大きなスピン系において、既存の方法よりも優れている。
  論文  参考訳（メタデータ） (2024-04-09T11:27:07Z)
• What to Do When Your Discrete Optimization Is the Size of a Neural Network? [24.546550334179486]
  ニューラルネットワークを用いた機械学習アプリケーションは、離散最適化問題を解くことを含む。 離散的な設定で使用される古典的なアプローチは、大きなニューラルネットワークに対してうまくスケールしない。 連続経路(CP)法は,前者およびモンテカルロ法(MC)法を純粋に表現し,後者を表現している。
  論文  参考訳（メタデータ） (2024-02-15T21:57:43Z)
• Nonlinear subspace clustering by functional link neural networks [22.49976785146764]
  フィードフォワードニューラルネットワークに基づくサブスペースクラスタリングは、いくつかの高度なサブスペースクラスタリングアルゴリズムよりも優れたクラスタリング精度を提供することを示した。 我々は,データサンプルを非線形領域に変換するために,関数型リンクニューラルネットワークを用いる。 本稿では,線形サブスペースクラスタリング手法と関数型リンクニューラルネットワークサブスペースクラスタリング手法を組み合わせた凸結合サブスペースクラスタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-03T06:01:21Z)
• Neural Dependencies Emerging from Learning Massive Categories [94.77992221690742]
  この研究は、大規模画像分類のために学んだニューラルネットワークに関する2つの驚くべき発見を示す。 1) 十分に訓練されたモデルが与えられた場合、いくつかのカテゴリで予測されたロジットは、他のいくつかのカテゴリの予測を線形に組み合わせることで直接得ることができる。 2) 神経依存は1つのモデルに留まらず、2つの独立した学習モデルの間にさえ存在する。
  論文  参考訳（メタデータ） (2022-11-21T09:42:15Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Physics-informed neural network simulation of multiphase poroelasticity using stress-split sequential training [0.0]
  本稿では、弾性ネットワークに基づく偏微分方程式(PDE)に支配される問題を解くための枠組みを提案する。 この手法は, ポロシ, バリ・シエの注入-生産問題, および2相排水問題の解法に収束する。
  論文  参考訳（メタデータ） (2021-10-06T20:09:09Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。