論文の概要: DEP-RL: Embodied Exploration for Reinforcement Learning in Overactuated
and Musculoskeletal Systems
- arxiv url: http://arxiv.org/abs/2206.00484v1
- Date: Mon, 30 May 2022 15:52:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-02 13:40:18.536775
- Title: DEP-RL: Embodied Exploration for Reinforcement Learning in Overactuated
and Musculoskeletal Systems
- Title(参考訳): DEP-RL:過剰・筋骨格系における強化学習のための身体的探索
- Authors: Pierre Schumacher, Daniel H\"aufle, Dieter B\"uchler, Syn Schmitt,
Georg Martius
- Abstract要約: 大規模な筋骨格モデルの強化学習は、同様の性能を示すことができない。
我々は、大きな過度な作用空間における非効率な探索が重要な問題であると予想する。
筋骨格系において,DEPをRLに統合することにより,手を伸ばしたり移動したりする学習を高速に行うことができる。
- 参考スコア(独自算出の注目度): 14.295720603503806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Muscle-actuated organisms are capable of learning an unparalleled diversity
of dexterous movements despite their vast amount of muscles. Reinforcement
learning (RL) on large musculoskeletal models, however, has not been able to
show similar performance. We conjecture that ineffective exploration in large
overactuated action spaces is a key problem. This is supported by the finding
that common exploration noise strategies are inadequate in synthetic examples
of overactuated systems. We identify differential extrinsic plasticity (DEP), a
method from the domain of self-organization, as being able to induce
state-space covering exploration within seconds of interaction. By integrating
DEP into RL, we achieve fast learning of reaching and locomotion in
musculoskeletal systems, outperforming current approaches in all considered
tasks in sample efficiency and robustness.
- Abstract(参考訳): 筋肉を調節する生物は、筋肉が大量に存在するにもかかわらず、並外れた運動の多様性を学べる。
しかし, 筋骨格モデルを用いた強化学習(RL)では, 同様の性能は示されていない。
大規模過度な作用空間における非効率な探索は重要な問題である。
これは、過度に作動するシステムの合成例において、一般的な探索ノイズ戦略が不十分であるという発見によって支持される。
我々は, 自己組織領域から抽出した微分外在的可塑性 (DEP) を, 相互作用数秒以内に状態空間の探索を誘導できると同定した。
筋骨格系におけるDEPをRLに組み込むことにより,筋骨格系におけるリーチと移動の学習を高速化し,試料効率とロバスト性において,全ての検討課題において現在のアプローチより優れている。
関連論文リスト
- Tactile Active Inference Reinforcement Learning for Efficient Robotic
Manipulation Skill Acquisition [10.072992621244042]
触覚能動推論強化学習(Tactile Active Inference Reinforcement Learning, Tactile-AIRL)と呼ばれるロボット操作におけるスキル学習手法を提案する。
強化学習(RL)の性能を高めるために,モデルに基づく手法と本質的な好奇心をRLプロセスに統合した能動推論を導入する。
本研究では,タスクをプッシュする非包括的オブジェクトにおいて,学習効率が著しく向上することが実証された。
論文 参考訳(メタデータ) (2023-11-19T10:19:22Z) - SAR: Generalization of Physiological Agility and Dexterity via
Synergistic Action Representation [10.349135207285464]
筋シナジーによるモジュラー制御は、生物がシンプルで一般化可能な行動空間で筋肉制御を学習することを可能にすることを示す。
より単純なタスクから獲得したSAR(Synergistic Action Representation)が、より複雑なタスクを学習するのに役立つ範囲を決定するためのテストベッドとして、生理学的に正確な人手と足のモデルを用いている。
いずれの場合も,SAR公開政策がエンドツーエンドの強化学習を著しく上回っていることが判明した。
論文 参考訳(メタデータ) (2023-07-07T17:07:41Z) - Latent Exploration for Reinforcement Learning [87.42776741119653]
強化学習では、エージェントは環境を探索し、相互作用することでポリシーを学ぶ。
LATent TIme-Correlated Exploration (Lattice)を提案する。
論文 参考訳(メタデータ) (2023-05-31T17:40:43Z) - Demonstration-Guided Reinforcement Learning with Efficient Exploration
for Task Automation of Surgical Robot [54.80144694888735]
効率的な強化学習アルゴリズムであるDEX(Demonstration-Guided Exploration)を導入する。
本手法は,生産的相互作用を促進するために,高い値で専門家のような行動を推定する。
総合的な手術シミュレーションプラットフォームであるSurRoLによる10ドルの手術操作に関する実験では、大幅な改善が示されている。
論文 参考訳(メタデータ) (2023-02-20T05:38:54Z) - Learning with Muscles: Benefits for Data-Efficiency and Robustness in
Anthropomorphic Tasks [13.545245521356218]
人間は、さまざまな動作において、堅牢性、汎用性、新しいタスクの学習という点でロボットより優れています。
我々は、高非線形筋力は、学習に好適な固有の安定性を提供する上で大きな役割を果たすと仮定する。
論文 参考訳(メタデータ) (2022-07-08T15:16:38Z) - Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。
本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。
現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
論文 参考訳(メタデータ) (2022-04-14T17:46:26Z) - Provable RL with Exogenous Distractors via Multistep Inverse Dynamics [85.52408288789164]
実世界の強化学習(RL)の応用は、メガピクセルカメラから生成されたような高次元の観察にエージェントが対処する必要がある。
従来の研究は表現学習でこのような問題に対処しており、エージェントは生の観察から内因性、潜伏状態の情報を確実に抽出することができる。
しかし、このような手法は観測において時間的に相関するノイズの存在下では失敗する可能性がある。
論文 参考訳(メタデータ) (2021-10-17T15:21:27Z) - GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。
リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。
この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
論文 参考訳(メタデータ) (2021-04-07T01:08:18Z) - Maximum Mutation Reinforcement Learning for Scalable Control [25.935468948833073]
強化学習(Reinforcement Learning, RL)は、大規模状態空間に対するデータ効率と最適制御を、スケーラブルな性能で実証している。
本稿では,スケーラブルなRLアルゴリズムであるEvolution-based Soft Actor-Critic (ESAC)を提案する。
論文 参考訳(メタデータ) (2020-07-24T16:29:19Z) - Towards Understanding the Adversarial Vulnerability of Skeleton-based
Action Recognition [133.35968094967626]
骨格に基づく行動認識は、動的状況への強い適応性から注目を集めている。
ディープラーニング技術の助けを借りて、かなり進歩し、現在、良識のある環境で約90%の精度を達成している。
異なる対角的環境下での骨格に基づく行動認識の脆弱性に関する研究はいまだ研究されていない。
論文 参考訳(メタデータ) (2020-05-14T17:12:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。