論文の概要: A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control

• arxiv url: http://arxiv.org/abs/2311.07822v4
• Date: Sat, 28 Sep 2024 09:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 21:59:14.387752
• Title: A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control
• Title（参考訳）: ロボット制御のための事前訓練強化学習を目的とした中央モータシステム
• Authors: Pei Zhang, Zhaobo Hua, Jinliang Ding,
• Abstract要約: 本稿では,CMS-PRLを提案する。 まず、基本的なモータ報酬と相互情報報酬を組み合わせた融合報酬機構を導入する。 第2に,基底神経節の運動プログラムにインスパイアされたスキルエンコーディング手法を設計し,リッチかつ継続的なスキル指導を提供する。 第3に,運動能力の制御のためのスキルアクティビティ機能を提案する。
• 参考スコア（独自算出の注目度）: 7.227887302864789
• License:
• Abstract: The development of intelligent robots requires control policies that can handle dynamic environments and evolving tasks. Pre-training reinforcement learning has emerged as an effective approach to address these demands by enabling robots to acquire reusable motor skills. However, they often rely on large datasets or expert-designed goal spaces, limiting adaptability. Additionally, these methods need help to generate dynamic and diverse skills in high-dimensional state spaces, reducing their effectiveness for downstream tasks. In this paper, we propose CMS-PRL, a pre-training reinforcement learning method inspired by the Central Motor System (CMS). First, we introduce a fusion reward mechanism that combines the basic motor reward with mutual information reward, promoting the discovery of dynamic skills during pre-training without reliance on external data. Second, we design a skill encoding method inspired by the motor program of the basal ganglia, providing rich and continuous skill instructions during pre-training. Finally, we propose a skill activity function to regulate motor skill activity, enabling the generation of skills with different activity levels, thereby enhancing the robot's flexibility in downstream tasks. We evaluate the model on four types of robots in a challenging set of sparse-reward tasks. Experimental results demonstrate that CMS-PRL generates diverse, reusable motor skills to solve various downstream tasks and outperforms baseline methods, particularly in high-degree-of-freedom robots and complex tasks.
• Abstract（参考訳）: インテリジェントロボットの開発には、動的環境と進化するタスクを処理できる制御ポリシーが必要である。 ロボットが再利用可能なモータースキルを習得できるようにすることにより、これらの要求に対処するための効果的なアプローチとして、事前学習強化学習が登場した。 しかし、それらは大きなデータセットや専門家が設計した目標空間に依存し、適応性を制限することが多い。 さらに、これらの手法は、高次元の状態空間における動的かつ多様なスキルを生成するのに役立ち、下流タスクの効率を下げる必要がある。 本稿では,CMS(Central Motor System)にインスパイアされたトレーニング前の強化学習手法であるCMS-PRLを提案する。 まず、基本的なモータ報酬と相互情報報酬を組み合わせた融合報酬機構を導入し、外部データに依存しない事前学習時のダイナミックスキルの発見を促進する。 第2に,基礎神経節の運動プログラムにインスパイアされたスキルエンコーディング手法を設計し,事前訓練中にリッチで継続的なスキル指導を提供する。 最後に,動作レベルの異なるスキルの生成を可能にし,下流作業におけるロボットの柔軟性を向上する技術活動関数を提案する。 本研究では, スパース・リワードの課題に挑戦する4種類のロボットのモデルを評価する。 実験により,CMS-PRLは様々な下流タスクを解くために多種多様な再利用可能なモータースキルを生成し,特に高自由度ロボットや複雑なタスクにおいて,ベースライン法より優れていることが示された。

関連論文リスト

• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、20Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
  RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
  論文  参考訳（メタデータ） (2023-11-02T17:59:21Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Foundational Policy Acquisition via Multitask Learning for Motor Skill Generation [0.9668407688201356]
  本稿では,新しい運動能力を生み出すための基本方針獲得のためのマルチタスク強化学習アルゴリズムを提案する。 人間の感覚運動適応機構に触発されて,新しい運動技術を学ぶのによく用いられるエンコーダ・デコーダネットワークを訓練することを目指す。
  論文  参考訳（メタデータ） (2023-08-31T05:26:14Z)
• Learning and Adapting Agile Locomotion Skills by Transferring Experience [71.8926510772552]
  本稿では,既存のコントローラから新しいタスクを学習するために経験を移譲することで,複雑なロボティクススキルを訓練するためのフレームワークを提案する。 提案手法は,複雑なアジャイルジャンプ行動の学習,後肢を歩いたまま目標地点への移動,新しい環境への適応を可能にする。
  論文  参考訳（メタデータ） (2023-04-19T17:37:54Z)
• Robot Skill Adaptation via Soft Actor-Critic Gaussian Mixture Models [29.34375999491465]
  現実の世界で行動する自律的エージェントにとっての中核的な課題は、その騒々しい知覚とダイナミクスに対処するために、そのスキルのレパートリーを適応させることである。 ロングホライズンタスクにスキルの学習を拡大するためには、ロボットは学習し、その後、構造化された方法でスキルを洗練する必要がある。 SAC-GMMは,動的システムを通じてロボットのスキルを学習し,学習したスキルを自身の軌道分布空間に適応させる,新しいハイブリッドアプローチである。
  論文  参考訳（メタデータ） (2021-11-25T15:36:11Z)
• ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation [99.2543521972137]
  ReLMoGenは、サブゴールを予測するための学習されたポリシーと、これらのサブゴールに到達するために必要な動作を計画し実行するためのモーションジェネレータを組み合わせたフレームワークである。 本手法は,フォトリアリスティック・シミュレーション環境における7つのロボットタスクの多種多様なセットをベンチマークする。 ReLMoGenは、テスト時に異なるモーションジェネレータ間で顕著な転送可能性を示し、実際のロボットに転送する大きな可能性を示している。
  論文  参考訳（メタデータ） (2020-08-18T08:05:15Z)
• Learning compositional models of robot skills for task and motion planning [39.36562555272779]
  センサモレータプリミティブを用いて複雑な長距離操作問題を解決することを学ぶ。 能動的学習とサンプリングに最先端の手法を用いる。 我々は,選択した原始行動の質を計測することで,シミュレーションと実世界の双方でアプローチを評価する。
  論文  参考訳（メタデータ） (2020-06-08T20:45:34Z)
• Learning Agile Robotic Locomotion Skills by Imitating Animals [72.36395376558984]
  動物の多様でアジャイルな運動スキルを再現することは、ロボット工学における長年の課題である。 そこで本研究では,現実世界の動物を模倣することで,足のロボットがアジャイルな運動能力を学ぶことができる模倣学習システムを提案する。
  論文  参考訳（メタデータ） (2020-04-02T02:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。