論文の概要: A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control
- arxiv url: http://arxiv.org/abs/2311.07822v4
- Date: Sat, 28 Sep 2024 09:00:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 21:59:14.387752
- Title: A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control
- Title(参考訳): ロボット制御のための事前訓練強化学習を目的とした中央モータシステム
- Authors: Pei Zhang, Zhaobo Hua, Jinliang Ding,
- Abstract要約: 本稿では,CMS-PRLを提案する。
まず、基本的なモータ報酬と相互情報報酬を組み合わせた融合報酬機構を導入する。
第2に,基底神経節の運動プログラムにインスパイアされたスキルエンコーディング手法を設計し,リッチかつ継続的なスキル指導を提供する。
第3に,運動能力の制御のためのスキルアクティビティ機能を提案する。
- 参考スコア(独自算出の注目度): 7.227887302864789
- License:
- Abstract: The development of intelligent robots requires control policies that can handle dynamic environments and evolving tasks. Pre-training reinforcement learning has emerged as an effective approach to address these demands by enabling robots to acquire reusable motor skills. However, they often rely on large datasets or expert-designed goal spaces, limiting adaptability. Additionally, these methods need help to generate dynamic and diverse skills in high-dimensional state spaces, reducing their effectiveness for downstream tasks. In this paper, we propose CMS-PRL, a pre-training reinforcement learning method inspired by the Central Motor System (CMS). First, we introduce a fusion reward mechanism that combines the basic motor reward with mutual information reward, promoting the discovery of dynamic skills during pre-training without reliance on external data. Second, we design a skill encoding method inspired by the motor program of the basal ganglia, providing rich and continuous skill instructions during pre-training. Finally, we propose a skill activity function to regulate motor skill activity, enabling the generation of skills with different activity levels, thereby enhancing the robot's flexibility in downstream tasks. We evaluate the model on four types of robots in a challenging set of sparse-reward tasks. Experimental results demonstrate that CMS-PRL generates diverse, reusable motor skills to solve various downstream tasks and outperforms baseline methods, particularly in high-degree-of-freedom robots and complex tasks.
- Abstract(参考訳): インテリジェントロボットの開発には、動的環境と進化するタスクを処理できる制御ポリシーが必要である。
ロボットが再利用可能なモータースキルを習得できるようにすることにより、これらの要求に対処するための効果的なアプローチとして、事前学習強化学習が登場した。
しかし、それらは大きなデータセットや専門家が設計した目標空間に依存し、適応性を制限することが多い。
さらに、これらの手法は、高次元の状態空間における動的かつ多様なスキルを生成するのに役立ち、下流タスクの効率を下げる必要がある。
本稿では,CMS(Central Motor System)にインスパイアされたトレーニング前の強化学習手法であるCMS-PRLを提案する。
まず、基本的なモータ報酬と相互情報報酬を組み合わせた融合報酬機構を導入し、外部データに依存しない事前学習時のダイナミックスキルの発見を促進する。
第2に,基礎神経節の運動プログラムにインスパイアされたスキルエンコーディング手法を設計し,事前訓練中にリッチで継続的なスキル指導を提供する。
最後に,動作レベルの異なるスキルの生成を可能にし,下流作業におけるロボットの柔軟性を向上する技術活動関数を提案する。
本研究では, スパース・リワードの課題に挑戦する4種類のロボットのモデルを評価する。
実験により,CMS-PRLは様々な下流タスクを解くために多種多様な再利用可能なモータースキルを生成し,特に高自由度ロボットや複雑なタスクにおいて,ベースライン法より優れていることが示された。
関連論文リスト
- Imperative Learning: A Self-supervised Neural-Symbolic Learning Framework for Robot Autonomy [31.818923556912495]
我々は,ロボット自律のための自己教師型ニューラルシンボリック(NeSy)計算フレームワーク,インペラティブラーニング(IL)を導入する。
ILを2段階最適化(BLO)として定式化し、3つのモジュール間の相互学習を可能にする。
ILはロボットの自律性を大幅に向上させ、多様な領域にわたるさらなる研究を促進することを期待している。
論文 参考訳(メタデータ) (2024-06-23T12:02:17Z) - RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。
我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
論文 参考訳(メタデータ) (2023-11-02T17:59:21Z) - Lifelike Agility and Play in Quadrupedal Robots using Reinforcement Learning and Generative Pre-trained Models [28.519964304030236]
そこで本研究では,ロボットに事前学習可能で,再利用可能で,拡張可能な,原始的,環境的,戦略的レベルの知識を構築するための階層的枠組みを提案する。
原始的なモジュールは、動物の動きデータから知識を要約し、言語と画像理解における大きな事前学習モデルに触発されて、ロボットが本物の動物のように振る舞うことを刺激する運動制御信号を生成するための深い生成モデルを導入する。
トレーニングされた階層型コントローラを、社内で開発された四足歩行ロボットMAXロボットに適用し、動物を模倣し、複雑な障害物を横切り、設計上の挑戦的なマルチエージェント・チェイスタグゲームで遊ぶ。
論文 参考訳(メタデータ) (2023-08-29T09:22:12Z) - Hierarchical generative modelling for autonomous robots [8.023920215148486]
人型ロボットが、移動、操作、把握の全体的利用を必要とする複雑なタスクを自律的に完了できることを示します。
具体的には、箱を回収して輸送し、ドアを通り抜けて目的地に到達し、接近し、サッカーを蹴ることのできるヒューマノイドロボットの能力を示すとともに、身体の損傷や地面の不規則性の存在下で頑健な性能を示す。
論文 参考訳(メタデータ) (2023-08-15T13:51:03Z) - Decentralized Motor Skill Learning for Complex Robotic Systems [5.669790037378093]
本稿では,分散モータスキル(DEMOS)学習アルゴリズムを提案する。
本手法は, 性能を犠牲にすることなく, 政策の堅牢性と一般化を向上する。
四足歩行ロボットとヒューマノイドロボットの実験は、学習方針が局所的な運動障害に対して堅牢であり、新しいタスクに移行できることを示した。
論文 参考訳(メタデータ) (2023-06-30T05:55:34Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳(メタデータ) (2023-06-16T17:58:10Z) - Learning and Adapting Agile Locomotion Skills by Transferring Experience [71.8926510772552]
本稿では,既存のコントローラから新しいタスクを学習するために経験を移譲することで,複雑なロボティクススキルを訓練するためのフレームワークを提案する。
提案手法は,複雑なアジャイルジャンプ行動の学習,後肢を歩いたまま目標地点への移動,新しい環境への適応を可能にする。
論文 参考訳(メタデータ) (2023-04-19T17:37:54Z) - Populations of Spiking Neurons for Reservoir Computing: Closed Loop
Control of a Compliant Quadruped [64.64924554743982]
本稿では,ニューラルネットワークを用いた中央パターン生成機構を実装し,閉ループロボット制御を実現するためのフレームワークを提案する。
本研究では,従順な四足歩行ロボットのシミュレーションモデル上で,予め定義された歩行パターン,速度制御,歩行遷移の学習を実演する。
論文 参考訳(メタデータ) (2020-04-09T14:32:49Z) - Learning Agile Robotic Locomotion Skills by Imitating Animals [72.36395376558984]
動物の多様でアジャイルな運動スキルを再現することは、ロボット工学における長年の課題である。
そこで本研究では,現実世界の動物を模倣することで,足のロボットがアジャイルな運動能力を学ぶことができる模倣学習システムを提案する。
論文 参考訳(メタデータ) (2020-04-02T02:56:16Z) - SAPIEN: A SimulAted Part-based Interactive ENvironment [77.4739790629284]
SAPIENは現実的で物理に富んだシミュレートされた環境であり、音声オブジェクトのための大規模なセットをホストしている。
部品検出と動作特性認識のための最先端の視覚アルゴリズムの評価を行い,ロボットインタラクションタスクの実証を行った。
論文 参考訳(メタデータ) (2020-03-19T00:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。