論文の概要: Adaptive Combination of a Genetic Algorithm and Novelty Search for Deep Neuroevolution

• arxiv url: http://arxiv.org/abs/2209.03618v1
• Date: Thu, 8 Sep 2022 07:50:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-09 13:02:12.554865
• Title: Adaptive Combination of a Genetic Algorithm and Novelty Search for Deep Neuroevolution
• Title（参考訳）: 遺伝的アルゴリズムの適応的組み合わせと深部神経進化の新規探索
• Authors: Eyal Segal and Moshe Sipper
• Abstract要約: 遺伝的アルゴリズム(GA)は、詐欺的でもスパースでもない報酬関数を利用するのに適している。 新しいアルゴリズム:Explore-Exploit$gamma$-Adaptive Learner(E2gamma AL$、EyAL) EyALは、GAの活用力とNSの探索力の両方を組み合わせて、単純さと優雅さを維持している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolutionary Computation (EC) has been shown to be able to quickly train Deep Artificial Neural Networks (DNNs) to solve Reinforcement Learning (RL) problems. While a Genetic Algorithm (GA) is well-suited for exploiting reward functions that are neither deceptive nor sparse, it struggles when the reward function is either of those. To that end, Novelty Search (NS) has been shown to be able to outperform gradient-following optimizers in some cases, while under-performing in others. We propose a new algorithm: Explore-Exploit $\gamma$-Adaptive Learner ($E^2\gamma AL$, or EyAL). By preserving a dynamically-sized niche of novelty-seeking agents, the algorithm manages to maintain population diversity, exploiting the reward signal when possible and exploring otherwise. The algorithm combines both the exploitation power of a GA and the exploration power of NS, while maintaining their simplicity and elegance. Our experiments show that EyAL outperforms NS in most scenarios, while being on par with a GA -- and in some scenarios it can outperform both. EyAL also allows the substitution of the exploiting component (GA) and the exploring component (NS) with other algorithms, e.g., Evolution Strategy and Surprise Search, thus opening the door for future research.
• Abstract（参考訳）: 進化的計算(EC)は、強化学習(RL)問題を解決するために、ディープニューラルネットワーク(DNN)を迅速に訓練できることが示されている。 遺伝的アルゴリズム(GA)は、詐欺的でもスパースでもない報酬関数を利用するのに適しているが、報酬関数がいずれかの場合に苦労する。 その目的のために、ノベルティサーチ(NS)は勾配追従オプティマイザよりも優れ、他の場合には性能が低くなることが示されている。 新たなアルゴリズムを提案する: Explore-Exploit $\gamma$-Adaptive Learner (E^2\gamma AL$, EyAL)。 このアルゴリズムは、動的に大きさのニッチなノベルティ検索エージェントを保存することによって、個体数の多様性を維持し、可能な限り報酬信号を利用して探索する。 このアルゴリズムは、GAの活用力とNSの探索力の両方を、単純さと優雅さを維持しながら組み合わせている。 私たちの実験によると、EyALはほとんどのシナリオでNSより優れていますが、GAと同等であり、いくつかのシナリオでは両方より優れています。 EyALはまた、エクスプロイトコンポーネント(GA)と探索コンポーネント(NS)を他のアルゴリズム、例えば進化戦略やサプライズ探索に置き換えることを可能にし、将来の研究の扉を開く。

関連論文リスト

• The FAIRy Tale of Genetic Algorithms [1.0957528713294875]
  Findable、Accessible、Interoperable、Reusable(FAIR)のデータ原則を拡張して、アルゴリズムの遺伝的および再使用を可能にしました。 我々は,GAの方法論的展開と変種について概説し,適切なソースの再現や発見を困難にしている。 この作業は、多数の機械学習アルゴリズム/メソッドに拡張することができる。
  論文  参考訳（メタデータ） (2023-04-29T11:36:09Z)
• Genetically Modified Wolf Optimization with Stochastic Gradient Descent for Optimising Deep Neural Networks [0.0]
  本研究の目的は、人口ベースメタヒューリスティックアルゴリズムを用いて、ニューラルネットワーク(NN)重み付けを最適化するための代替アプローチを分析することである。 Grey Wolf (GWO) と Genetic Modified Algorithms (GA) のハイブリッドをグラディエント・Descent (SGD) と組み合わせて検討した。 このアルゴリズムは、高次元性の問題にも対処しながら、エクスプロイトと探索の組み合わせを可能にする。
  論文  参考訳（メタデータ） (2023-01-21T13:22:09Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Neural Networks for Local Search and Crossover in Vehicle Routing: A Possible Overkill? [10.882329986831087]
  我々は,Hybrid Genetic Search(HGS)を改善するために,グラフニューラルネットワーク(GNN)のヒートマップ形式での予測の利用を検討した。 ノード関連性の尺度を用いて,より高度な戦略を活用すれば,性能を大幅に向上できることを示す。 しかし,当初の期待とは裏腹に,ヒートマップは単純な距離測定よりも有意なアドバンテージを示さなかった。
  論文  参考訳（メタデータ） (2022-09-09T22:08:17Z)
• GAAF: Searching Activation Functions for Binary Neural Networks through Genetic Algorithm [15.403807679886716]
  バイナリニューラルネットワーク(BNN)は、エッジデバイスやモバイルシステムのような、コストと電力制限のある領域で有望な利用を示している。 本稿では,サインベースバイナライゼーションに先立って補完活性化関数 (AF) を付加し,遺伝的アルゴリズム (GA) に頼って理想的なAFを自動検索することを提案する。
  論文  参考訳（メタデータ） (2022-06-05T06:36:22Z)
• On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game [140.19656665344917]
  エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。 関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。 我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
  論文  参考訳（メタデータ） (2021-10-19T07:26:33Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)
• MADE: Exploration via Maximizing Deviation from Explored Regions [48.49228309729319]
  オンライン強化学習(RL)では、高次元環境における効率的な探索は依然として困難であり、報酬は少ない。 調査地域からの次の政策の逸脱を最大化することによる新たな探索手法を提案する。 提案手法は,最先端手法よりもサンプル効率を著しく向上させる。
  論文  参考訳（メタデータ） (2021-06-18T17:57:00Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Discovering Reinforcement Learning Algorithms [53.72358280495428]
  強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。 本稿では,更新ルール全体を検出するメタラーニング手法を提案する。 これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
  論文  参考訳（メタデータ） (2020-07-17T07:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。