論文の概要: An Experimental Study of Weight Initialization and Weight Inheritance Effects on Neuroevolution

• arxiv url: http://arxiv.org/abs/2009.09644v2
• Date: Sat, 26 Sep 2020 21:41:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 04:34:46.818375
• Title: An Experimental Study of Weight Initialization and Weight Inheritance Effects on Neuroevolution
• Title（参考訳）: 神経進化における体重初期化と体重継承効果に関する実験的研究
• Authors: Zimeng Lyu, AbdElRahman ElSaid, Joshua Karns, Mohamed Mkaouer, Travis Desell
• Abstract要約: 神経進化では、初期ゲノム(ANN)が探索の開始時に生成される場合、子孫ゲノムが交叉によって生成される場合、突然変異時に新しいノードやエッジが生成される場合、の三つの異なるタイミングで重みが爆発する必要がある。 本研究は,Xavier,Kaming,および一様ランダムウェイト初期化法と,クロスオーバーおよび突然変異操作中に新しいウェイトを初期化する新しいラマルク重み継承法との相違について検討する。
• 参考スコア（独自算出の注目度）: 2.3274138116397736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight initialization is critical in being able to successfully train artificial neural networks (ANNs), and even more so for recurrent neural networks (RNNs) which can easily suffer from vanishing and exploding gradients. In neuroevolution, where evolutionary algorithms are applied to neural architecture search, weights typically need to be initialized at three different times: when initial genomes (ANN architectures) are created at the beginning of the search, when offspring genomes are generated by crossover, and when new nodes or edges are created during mutation. This work explores the difference between using Xavier, Kaiming, and uniform random weight initialization methods, as well as novel Lamarckian weight inheritance methods for initializing new weights during crossover and mutation operations. These are examined using the Evolutionary eXploration of Augmenting Memory Models (EXAMM) neuroevolution algorithm, which is capable of evolving RNNs with a variety of modern memory cells (e.g., LSTM, GRU, MGU, UGRNN and Delta-RNN cells) as well recurrent connections with varying time skips through a high performance island based distributed evolutionary algorithm. Results show that with statistical significance, utilizing the Lamarckian strategies outperforms Kaiming, Xavier and uniform random weight initialization, and can speed neuroevolution by requiring less backpropagation epochs to be evaluated for each generated RNN.
• Abstract（参考訳）: 重みの初期化は、ニューラルネットワーク(anns)のトレーニングに成功し、さらに、勾配の消失や爆発に苦しむrecurrent neural networks(rnn)にとっても重要である。 進化的アルゴリズムがニューラルネットワークの探索に適用される神経進化において、重み付けは通常、3つの異なるタイミングで初期化する必要がある: 探索の最初に初期ゲノム(annアーキテクチャ)が作成される場合、子孫ゲノムがクロスオーバーによって生成される場合、そして変異の間に新しいノードやエッジが生成される場合である。 本研究は,xavier法,kaiming法,および一様ランダム重み初期化法と,クロスオーバーおよび突然変異操作中に新しい重み付けを初期化する新しいラマルキアン重み継承法の違いを考察する。 これらは、様々な現代の記憶細胞(例えば、LSTM、GRU、MGU、UGRNN、Delta-RNN細胞)でRNNを進化させることが可能なEXAMM(Evolutionary eXploration of Augmenting Memory Models)ニューロ進化アルゴリズムを用いて検討され、高性能な島ベースの分散進化アルゴリズムを通じて、様々な時間スキップを繰り返す。 以上の結果から,ラマルクの戦略はカイミング,ザビエル,一様ランダムウェイトの初期化よりも優れており,各RNNの逆伝播エポックを減らして神経進化を速めることが示唆された。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Discovering Physics-Informed Neural Networks Model for Solving Partial Differential Equations through Evolutionary Computation [5.8407437499182935]
  本稿では,より高い近似精度と高速収束率を持つPINNモデルの探索を目的とした進化的計算手法を提案する。 実験では、ベイズ最適化、ランダム探索、進化を通じて探索される異なるモデルの性能を比較して、クライン=ゴルドン方程式、バーガー方程式、ラム方程式を解く。
  論文  参考訳（メタデータ） (2024-05-18T07:32:02Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer [2.1485350418225244]
  本稿では,ReLUアクティベーションを伴うランダム化した浅層NNの一般化挙動を,正確なマクロ解析により解析する。 RSNは、無限に多くの方向が考慮される一般化加法モデル(GAM)型回帰に対応することを示す。
  論文  参考訳（メタデータ） (2023-03-20T21:05:47Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Neuroevolution of Physics-Informed Neural Nets: Benchmark Problems and Comparative Results [25.12291688711645]
  物理インフォームドニューラルネットワーク(PINN)は、最近の進歩の最前線にある重要な技術の一つである。 PINNのユニークな損失の定式化は、勾配降下に寄与しない高い複雑さと頑丈さをもたらす。 優れたグローバル検索能力を持つ神経進化アルゴリズムは、PINNにとってより良い選択であるかもしれない。
  論文  参考訳（メタデータ） (2022-12-15T05:54:16Z)
• Improving Deep Neural Network Random Initialization Through Neuronal Rewiring [14.484787903053208]
  神経強度のばらつきは低下するが, 神経強度のばらつきは低下し, 神経強度のばらつきは改善する。 次に、その強度に基づいて、優先アタッチメント(PA)ルールに従って神経細胞接続をリワイヤする新しい方法を提案する。 この意味では、PAは重みの大きさと分布を保ちながら、接続を再編成するのみである。
  論文  参考訳（メタデータ） (2022-07-17T11:52:52Z)
• Direct Mutation and Crossover in Genetic Algorithms Applied to Reinforcement Learning Tasks [0.9137554315375919]
  本稿では、遺伝的アルゴリズム(GA)を用いて神経進化を適用し、最適な行動エージェントを生成するニューラルネットワークの重みを見つけることに焦点を当てる。 本稿では,データ効率と収束速度を初期実装と比較して改善する2つの新しい修正法を提案する。
  論文  参考訳（メタデータ） (2022-01-13T07:19:28Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Epigenetic evolution of deep convolutional models [81.21462458089142]
  我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。 異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。 提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
  論文  参考訳（メタデータ） (2021-04-12T12:45:16Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。