論文の概要: Curriculum Reinforcement Learning via Morphology-Environment Co-Evolution

• arxiv url: http://arxiv.org/abs/2309.12529v1
• Date: Thu, 21 Sep 2023 22:58:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 16:32:46.500307
• Title: Curriculum Reinforcement Learning via Morphology-Environment Co-Evolution
• Title（参考訳）: 形態-環境共進化によるカリキュラム強化学習
• Authors: Shuang Ao, Tianyi Zhou, Guodong Long, Xuan Song, Jing Jiang
• Abstract要約: 形態-環境共進化」によるRL剤とその形態の最適化 カリキュラムを手作りする代わりに、形態と環境を自動的に変えるために2つのポリシーを訓練します。
• 参考スコア（独自算出の注目度）: 46.27211830466317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Throughout long history, natural species have learned to survive by evolving their physical structures adaptive to the environment changes. In contrast, current reinforcement learning (RL) studies mainly focus on training an agent with a fixed morphology (e.g., skeletal structure and joint attributes) in a fixed environment, which can hardly generalize to changing environments or new tasks. In this paper, we optimize an RL agent and its morphology through ``morphology-environment co-evolution (MECE)'', in which the morphology keeps being updated to adapt to the changing environment, while the environment is modified progressively to bring new challenges and stimulate the improvement of the morphology. This leads to a curriculum to train generalizable RL, whose morphology and policy are optimized for different environments. Instead of hand-crafting the curriculum, we train two policies to automatically change the morphology and the environment. To this end, (1) we develop two novel and effective rewards for the two policies, which are solely based on the learning dynamics of the RL agent; (2) we design a scheduler to automatically determine when to change the environment and the morphology. In experiments on two classes of tasks, the morphology and RL policies trained via MECE exhibit significantly better generalization performance in unseen test environments than SOTA morphology optimization methods. Our ablation studies on the two MECE policies further show that the co-evolution between the morphology and environment is the key to the success.
• Abstract（参考訳）: 長い歴史を通じて、自然種は環境の変化に適応した物理的構造を進化させることで生き残ることを学んでいる。 対照的に、現在の強化学習(rl)研究は主に、変化する環境や新しいタスクにほとんど一般化できない固定された環境における固定形態(骨格構造や関節属性など)を持つエージェントの訓練に焦点を当てている。 本稿では,RLエージェントとその形態を「形態-環境共進化(MECE)」により最適化し,形態が変化する環境に適応し続け,環境は段階的に変化し,新たな課題がもたらされ,形態改善が促進される。 これは、様々な環境に最適化された形態とポリシーを持つ一般化可能なRLを訓練するカリキュラムにつながる。 カリキュラムを手作りする代わりに、形態と環境を自動的に変えるために2つのポリシーを訓練します。 この目的のために,(1)rlエージェントの学習ダイナミクスのみに基づく2つの新しい,効果的な報酬を開発し,(2)環境変化のタイミングと形態を自動的に決定するスケジューラを設計した。 2種類のタスクの実験において、MECEを介して訓練されたモルフォロジーとRLポリシーは、SOTAのモルフォロジー最適化法よりも、目に見えないテスト環境で大幅に優れた一般化性能を示す。 この2つのMECE政策に関するアブレーション研究は、形態と環境の共進化が成功の鍵であることを示している。

関連論文リスト

• Learning to Predict Mutation Effects of Protein-Protein Interactions by Microenvironment-aware Hierarchical Prompt Learning [78.38442423223832]
  我々は、新しいコードブック事前学習タスク、すなわちマスク付きマイクロ環境モデリングを開発する。 突然変異効果予測において、最先端の事前学習法よりも優れた性能と訓練効率を示す。
  論文  参考訳（メタデータ） (2024-05-16T03:53:21Z)
• Evolving Reservoirs for Meta Reinforcement Learning [1.6874375111244329]
  本稿では,そのようなプロセスを実現する機構を研究するための計算モデルを提案する。 進化のスケールでは、リカレントニューラルネットワークの族である貯水池を進化させます。 我々は、強化学習(RL)を通じた行動政策の学習を容易にするために、これらの進化した貯水池を利用する。 以上の結果から,貯水池の進化は多様な課題の学習を改善することが示唆された。
  論文  参考訳（メタデータ） (2023-12-09T16:11:48Z)
• A Framework for Characterizing Novel Environment Transformations in General Environments [3.0938904602244346]
  環境変換の定義と分類のための形式的および理論的枠組みを導入する。 ドメイン、シナリオジェネレータ、変換を記述するための新しい言語を提案する。 環境変換の8つのカテゴリに対して、最初の形式的および計算的なテストセットを提供する。
  論文  参考訳（メタデータ） (2023-05-07T15:53:07Z)
• Task-Agnostic Morphology Evolution [94.97384298872286]
  モルフォロジーと振る舞いを共同適用する現在のアプローチでは、特定のタスクの報酬をモルフォロジー最適化のシグナルとして使用します。 これはしばしば高価なポリシー最適化を必要とし、一般化するために構築されていないタスクに依存した形態をもたらす。 我々は,これらの問題を緩和するための新しいアプローチであるタスク非依存形態進化(tame)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T18:59:21Z)
• Embodied Intelligence via Learning and Evolution [92.26791530545479]
  環境の複雑さが形態学的知能の進化を促進することを示す。 また、進化は速く学習する形態を素早く選択することを示した。 我々の実験は、ボールドウィン効果とモルフォロジーインテリジェンスの発生の両方の力学的基礎を示唆している。
  論文  参考訳（メタデータ） (2021-02-03T18:58:31Z)
• Emergent Hand Morphology and Control from Optimizing Robust Grasps of Diverse Objects [63.89096733478149]
  多様な物体をつかむために、効果的なハンドデザインが自然に現れるデータ駆動型アプローチを紹介します。 形態と把持スキルを共同で効率的に設計するベイズ最適化アルゴリズムを開発した。 我々は,新しい物体をつかむための堅牢で費用効率のよい手形態を発見するためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-12-22T17:52:29Z)
• Instance Weighted Incremental Evolution Strategies for Reinforcement Learning in Dynamic Environments [11.076005074172516]
  本研究では,動的環境における進化戦略(ES)の体系的漸進学習手法を提案する。 目標は、環境が変わるたびに、学習済みのポリシーを新しいポリシーに漸進的に調整することだ。 本稿では、動的環境への高速な学習適応を実現するため、RLドメインのためのスケーラブルなESアルゴリズムのファミリーを紹介する。
  論文  参考訳（メタデータ） (2020-10-09T14:31:44Z)
• Ecological Reinforcement Learning [76.9893572776141]
  このような条件下での学習を容易にする環境特性について検討する。 環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
  論文  参考訳（メタデータ） (2020-06-22T17:55:03Z)
• Environmental Adaptation of Robot Morphology and Control through Real-world Evolution [5.08706161686979]
  機械的に自己再構成された四足歩行ロボットに形態学と制御の組み合わせを得るために進化探索を適用した。 2つの異なる物理曲面上の解を進化させ、制御と形態の両方の観点から結果を解析する。
  論文  参考訳（メタデータ） (2020-03-30T07:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。