論文の概要: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.21845v2
• Date: Wed, 06 Nov 2024 03:14:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 03:29:41.001293
• Title: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning
• Title（参考訳）: 対人強化学習による精密・脱軸ロボットマニピュレーション
• Authors: Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine,
• Abstract要約: 本稿では,多種多様な操作タスクに対して印象的な性能を示す,ループ内視覚に基づくRLシステムを提案する。 提案手法では,実証と人間の修正,効率的なRLアルゴリズム,その他のシステムレベルの設計選択を統合してポリシを学習する。 提案手法は,再現学習のベースラインと先行RLアプローチを著しく上回り,成功率の平均2倍,実行速度1.8倍に向上した。
• 参考スコア（独自算出の注目度）: 47.785786984974855
• License:
• Abstract: Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、複雑なロボット操作スキルの自律的な獲得を可能にするという大きな約束を持っているが、現実の環境でこの可能性を実現することは困難である。 本稿では,動的操作,精密組立,両腕協調など,多様な操作タスクにおいて,印象的な性能を示す。 提案手法は,実演と人間の修正,効率的なRLアルゴリズム,その他のシステムレベルの設計選択を統合して,ほぼ完璧な成功率とサイクルタイムをたった1～2.5時間で達成できるポリシを学習する。 提案手法は,再現学習のベースラインと先行RLアプローチを著しく上回り,成功率の平均2倍,実行速度1.8倍に向上した。 広範な実験と分析を通じて、我々のアプローチの有効性に関する洞察を提供し、反応制御戦略と予測制御戦略の両方に対して、堅牢で適応的なポリシーをどのように学習するかを実証する。 以上の結果から,RLは実世界において,現実的な訓練時間内で,様々な複雑な視覚に基づく操作ポリシーを学習することができることが示唆された。 この研究が、新しい世代のロボット操作技術に刺激を与え、工業的応用と研究の進歩の両方に利益をもたらすことを期待している。 ビデオとコードは、プロジェクトのWebサイトhttps://hil-serl.github.io/で公開されています。

関連論文リスト

• SHIRE: Enhancing Sample Efficiency using Human Intuition in REinforcement Learning [11.304750795377657]
  確率的図形モデル(PGM)を用いた人間の直観を符号化するフレームワークShireを提案する。 ShiREは、評価対象環境の25～78%のサンプル効率を、無視可能なオーバーヘッドコストで達成します。
  論文  参考訳（メタデータ） (2024-09-16T04:46:22Z)
• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [85.21378553454672]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• Tactile Active Inference Reinforcement Learning for Efficient Robotic Manipulation Skill Acquisition [10.072992621244042]
  触覚能動推論強化学習(Tactile Active Inference Reinforcement Learning, Tactile-AIRL)と呼ばれるロボット操作におけるスキル学習手法を提案する。 強化学習(RL)の性能を高めるために,モデルに基づく手法と本質的な好奇心をRLプロセスに統合した能動推論を導入する。 本研究では,タスクをプッシュする非包括的オブジェクトにおいて,学習効率が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-11-19T10:19:22Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from Offline Data [101.43350024175157]
  自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。 我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。 コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-06T01:36:56Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。