論文の概要: Evolving Reservoirs for Meta Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2312.06695v2
• Date: Mon, 29 Jan 2024 16:08:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 20:56:59.245959
• Title: Evolving Reservoirs for Meta Reinforcement Learning
• Title（参考訳）: メタ強化学習のための貯水池の進化
• Authors: Corentin L\'eger and Gautier Hamon and Eleni Nisioti and Xavier Hinaut and Cl\'ement Moulin-Frier
• Abstract要約: 本稿では,そのようなプロセスを実現する機構を研究するための計算モデルを提案する。 進化のスケールでは、リカレントニューラルネットワークの族である貯水池を進化させます。 我々は、強化学習(RL)を通じた行動政策の学習を容易にするために、これらの進化した貯水池を利用する。 以上の結果から,貯水池の進化は多様な課題の学習を改善することが示唆された。
• 参考スコア（独自算出の注目度）: 1.6874375111244329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Animals often demonstrate a remarkable ability to adapt to their environments during their lifetime. They do so partly due to the evolution of morphological and neural structures. These structures capture features of environments shared between generations to bias and speed up lifetime learning. In this work, we propose a computational model for studying a mechanism that can enable such a process. We adopt a computational framework based on meta reinforcement learning as a model of the interplay between evolution and development. At the evolutionary scale, we evolve reservoirs, a family of recurrent neural networks that differ from conventional networks in that one optimizes not the synaptic weights, but hyperparameters controlling macro-level properties of the resulting network architecture. At the developmental scale, we employ these evolved reservoirs to facilitate the learning of a behavioral policy through Reinforcement Learning (RL). Within an RL agent, a reservoir encodes the environment state before providing it to an action policy. We evaluate our approach on several 2D and 3D simulated environments. Our results show that the evolution of reservoirs can improve the learning of diverse challenging tasks. We study in particular three hypotheses: the use of an architecture combining reservoirs and reinforcement learning could enable (1) solving tasks with partial observability, (2) generating oscillatory dynamics that facilitate the learning of locomotion tasks, and (3) facilitating the generalization of learned behaviors to new tasks unknown during the evolution phase.
• Abstract（参考訳）: 動物はしばしば生涯を通じて環境に適応する顕著な能力を示す。 部分的には形態学や神経構造の進化によるものである。 これらの構造は世代間で共有される環境の特徴を捉え、バイアスを与え、生涯学習をスピードアップさせる。 本研究では,そのようなプロセスを実現する機構を研究するための計算モデルを提案する。 我々は,進化と発展の相互作用のモデルとしてメタ強化学習に基づく計算フレームワークを採用する。 進化的スケールでは,相乗重みではなく,ネットワークアーキテクチャのマクロレベル特性を制御するハイパーパラメータを最適化する点で,従来のネットワークと異なる再帰的ニューラルネットワーク群であるリザーバを進化させる。 開発規模では、これらの進化した貯水池を用いて強化学習(RL)を通して行動政策の学習を促進する。 RLエージェント内では、貯留層が環境状態を符号化し、アクションポリシーに付与する。 我々は,複数の2次元および3次元シミュレーション環境に対するアプローチを評価した。 その結果,貯水池の進化は多様な課題の学習を改善できることがわかった。 特に,リザーバと強化学習を組み合わせたアーキテクチャを用いることで,(1)部分的可観測性を伴うタスクの解決,(2)ロコモーションタスクの学習を容易にする振動力学の生成,(3)進化段階において未知の新しいタスクに対する学習行動の一般化を促進する,という3つの仮説を考察した。

関連論文リスト

• DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence [77.78795329701367]
  本稿では,進化アルゴリズムと並列化強化学習を組み合わせたフレームワークであるDARLEIを提案する。 我々はDARLEIの性能を様々な条件で特徴付け、進化形態の多様性に影響を与える要因を明らかにした。 今後DARLEIを拡張して、よりリッチな環境における多様な形態素間の相互作用を取り入れていきたいと考えています。
  論文  参考訳（メタデータ） (2023-12-08T16:51:10Z)
• Generative Adversarial Neuroevolution for Control Behaviour Imitation [3.04585143845864]
  本稿では,一般的なシミュレーション環境における行動模倣にディープ・ニューロエボリューションが有効かどうかを考察する。 我々は、単純な共進化的逆数生成フレームワークを導入し、標準の深い再帰ネットワークを進化させることにより、その能力を評価する。 全てのタスクにおいて、事前訓練されたエージェントが獲得したものよりも高いスコアを達成できる最後のエリートアクターが見つかる。
  論文  参考訳（メタデータ） (2023-04-03T16:33:22Z)
• Adaptive structure evolution and biologically plausible synaptic plasticity for recurrent spiking neural networks [6.760855795263126]
  スパイキングニューラルネットワーク(SNN)ベースのLiquid State Machine(LSM)は、脳にインスパイアされたインテリジェンスを研究するのに適したアーキテクチャである。 本稿では,適応的構造進化と大規模生物学習ルールを統合した新しいLSM学習モデルを提案する。
  論文  参考訳（メタデータ） (2023-03-31T07:36:39Z)
• Developing hierarchical anticipations via neural network-based event segmentation [14.059479351946386]
  我々は、自律的に学習された潜在イベントコードによる階層的予測の開発をモデル化する。 本稿では,学習バイアスが緩やかに変化する潜在状態の発達を促進する階層的再帰型ニューラルネットワークアーキテクチャを提案する。 より高いレベルのネットワークは、潜伏状態が変化しがちな状況を予測することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-04T18:54:31Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Epigenetic evolution of deep convolutional models [81.21462458089142]
  我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。 異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。 提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
  論文  参考訳（メタデータ） (2021-04-12T12:45:16Z)
• GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
  サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。 リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。 この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
  論文  参考訳（メタデータ） (2021-04-07T01:08:18Z)
• Continual Developmental Neurosimulation Using Embodied Computational Agents [0.0]
  神経系の形態形成, 発達学習, 可塑性の関連現象のブリッジングにおける発達軌跡の役割を考察することができる。 我々のアプローチは発達的実施と密に統合されており、発達的ブレイテンベルク車両(dBV)と呼ばれる種類のエージェントを用いて実装することができる。 dBVは、体、センサー、エフェクター、神経システムなど、エージェントベースのシステムへと変貌する、未定義の構造の集合として、自らの生活を始める。
  論文  参考訳（メタデータ） (2021-03-07T07:22:49Z)
• Task-Agnostic Morphology Evolution [94.97384298872286]
  モルフォロジーと振る舞いを共同適用する現在のアプローチでは、特定のタスクの報酬をモルフォロジー最適化のシグナルとして使用します。 これはしばしば高価なポリシー最適化を必要とし、一般化するために構築されていないタスクに依存した形態をもたらす。 我々は,これらの問題を緩和するための新しいアプローチであるタスク非依存形態進化(tame)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T18:59:21Z)
• Embodied Intelligence via Learning and Evolution [92.26791530545479]
  環境の複雑さが形態学的知能の進化を促進することを示す。 また、進化は速く学習する形態を素早く選択することを示した。 我々の実験は、ボールドウィン効果とモルフォロジーインテリジェンスの発生の両方の力学的基礎を示唆している。
  論文  参考訳（メタデータ） (2021-02-03T18:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。