論文の概要: Co-design of Embodied Neural Intelligence via Constrained Evolution
- arxiv url: http://arxiv.org/abs/2205.10688v1
- Date: Sat, 21 May 2022 22:44:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 08:39:34.660997
- Title: Co-design of Embodied Neural Intelligence via Constrained Evolution
- Title(参考訳): 拘束的進化による身体神経の共設計
- Authors: Zhiquan Wang, Bedrich Benes, Ahmed H. Qureshi, Christos Mousas
- Abstract要約: 自律移動エージェントの形状特性と移動特性を共設計する手法を提案する。
私たちの主なインスピレーションは進化であり、それが自然の幅広い多様性と適応につながった。
その結果,変化の10%に過ぎなかったとしても,進化したエージェントの全体的な性能は50%向上した。
- 参考スコア(独自算出の注目度): 8.350757829136315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel co-design method for autonomous moving agents' shape
attributes and locomotion by combining deep reinforcement learning and
evolution with user control. Our main inspiration comes from evolution, which
has led to wide variability and adaptation in Nature and has the potential to
significantly improve design and behavior simultaneously. Our method takes an
input agent with optional simple constraints such as leg parts that should not
evolve or allowed ranges of changes. It uses physics-based simulation to
determine its locomotion and finds a behavior policy for the input design,
later used as a baseline for comparison. The agent is then randomly modified
within the allowed ranges creating a new generation of several hundred agents.
The generation is trained by transferring the previous policy, which
significantly speeds up the training. The best-performing agents are selected,
and a new generation is formed using their crossover and mutations. The next
generations are then trained until satisfactory results are reached. We show a
wide variety of evolved agents, and our results show that even with only 10% of
changes, the overall performance of the evolved agents improves 50%. If more
significant changes to the initial design are allowed, our experiments'
performance improves even more to 150%. Contrary to related work, our co-design
works on a single GPU and provides satisfactory results by training thousands
of agents within one hour.
- Abstract(参考訳): 本稿では,深層強化学習と進化とユーザ制御を組み合わせた自律移動エージェントの形状特性とロコモーションの協調設計手法を提案する。
私たちの主なインスピレーションは進化によるもので、自然界における幅広い多様性と適応をもたらし、同時にデザインと振る舞いを著しく改善する可能性がある。
提案手法は,進化してはならない脚部や変更範囲を許容するなど,任意の単純な制約を持つ入力エージェントを用いる。
物理に基づくシミュレーションを用いて、その動きを判断し、後に比較のベースラインとして使われる入力設計のための行動ポリシーを見つける。
エージェントは許可された範囲内でランダムに修正され、数百のエージェントを新たに生成する。
生成は、トレーニングを著しくスピードアップする以前のポリシーを転送することでトレーニングされる。
ベストパフォーマンス剤が選択され、そのクロスオーバーと変異を用いて新しい世代が形成される。
次の世代は満足な結果に到達するまで訓練される。
我々は多種多様な進化エージェントを示し、その結果、わずか10%の変化でも、進化エージェントの全体的なパフォーマンスは50%向上していることがわかった。
最初の設計にもっと重要な変更が許されれば、実験のパフォーマンスはさらに150%向上します。
関連する作業とは対照的に、私たちの共同設計は単一のGPUで動作し、1時間以内に何千ものエージェントをトレーニングすることで満足な結果を提供する。
関連論文リスト
- AgentGym: Evolving Large Language Model-based Agents across Diverse Environments [116.97648507802926]
大規模言語モデル(LLM)はそのようなエージェントを構築するための有望な基盤と考えられている。
我々は、自己進化能力を備えた一般機能 LLM ベースのエージェントを構築するための第一歩を踏み出す。
我々はAgentGymを提案する。AgentGymは、幅広い、リアルタイム、ユニフォーマット、並行エージェント探索のための様々な環境とタスクを特徴とする新しいフレームワークである。
論文 参考訳(メタデータ) (2024-06-06T15:15:41Z) - Evolution and learning in differentiable robots [0.0]
我々は、異なるシミュレーションを用いて、多数の候補体計画において、行動の個々の神経制御を迅速かつ同時に最適化する。
個体群における各ロボットの機械的構造の変化は,探索の外ループに遺伝的アルゴリズムを適用した。
シミュレーションで発見された非常に微分可能な形態の1つは、物理ロボットとして実現され、その最適化された振る舞いを維持できた。
論文 参考訳(メタデータ) (2024-05-23T15:45:43Z) - DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary
Intelligence [77.78795329701367]
本稿では,進化アルゴリズムと並列化強化学習を組み合わせたフレームワークであるDARLEIを提案する。
我々はDARLEIの性能を様々な条件で特徴付け、進化形態の多様性に影響を与える要因を明らかにした。
今後DARLEIを拡張して、よりリッチな環境における多様な形態素間の相互作用を取り入れていきたいと考えています。
論文 参考訳(メタデータ) (2023-12-08T16:51:10Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳(メタデータ) (2023-05-26T00:43:02Z) - Learning to Generate Levels by Imitating Evolution [7.110423254122942]
機械学習を用いた新しいタイプの反復レベルジェネレータを提案する。
進化過程を模倣するためにモデルをトレーニングし、モデルを使用してレベルを生成します。
このトレーニングされたモデルは、フィットネス機能を必要とせずに、ノイズレベルを逐次修正して、より良いレベルを作ることができる。
論文 参考訳(メタデータ) (2022-06-11T10:44:57Z) - The Introspective Agent: Interdependence of Strategy, Physiology, and
Sensing for Embodied Agents [51.94554095091305]
本論では, 環境の文脈において, 自己能力を考慮した内省的エージェントについて論じる。
自然と同じように、私たちは戦略を1つのツールとして再編成して、環境において成功させたいと考えています。
論文 参考訳(メタデータ) (2022-01-02T20:14:01Z) - Epigenetic evolution of deep convolutional models [81.21462458089142]
我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。
異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。
提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
論文 参考訳(メタデータ) (2021-04-12T12:45:16Z) - Task-Agnostic Morphology Evolution [94.97384298872286]
モルフォロジーと振る舞いを共同適用する現在のアプローチでは、特定のタスクの報酬をモルフォロジー最適化のシグナルとして使用します。
これはしばしば高価なポリシー最適化を必要とし、一般化するために構築されていないタスクに依存した形態をもたらす。
我々は,これらの問題を緩和するための新しいアプローチであるタスク非依存形態進化(tame)を提案する。
論文 参考訳(メタデータ) (2021-02-25T18:59:21Z) - Lineage Evolution Reinforcement Learning [15.469857142001482]
線形進化強化学習は一般エージェント集団学習システムに対応する派生アルゴリズムである。
実験により,アタリ2600のゲームにおいて,系統進化の考え方により,元の強化学習アルゴリズムの性能が向上することが確認された。
論文 参考訳(メタデータ) (2020-09-26T11:58:16Z) - Mimicking Evolution with Reinforcement Learning [10.35437633064506]
人工的な人間のような知性を発達させる道は、自然のシミュレーションで進化の過程を模倣することでもたらされると我々は主張する。
この研究は、進化的リワード(EvER)を通じて進化的リワード(Evolutionary Reward)を提案する。
論文 参考訳(メタデータ) (2020-03-31T18:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。