論文の概要: Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids

• arxiv url: http://arxiv.org/abs/2502.20396v1
• Date: Thu, 27 Feb 2025 18:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:59:23.164782
• Title: Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids
• Title（参考訳）: 視覚に基づくヒューマノイドのデクサラスマニピュレーションのためのシン・トゥ・リール強化学習
• Authors: Toru Lin, Kartik Sachdev, Linxi Fan, Jitendra Malik, Yuke Zhu,
• Abstract要約: 本研究は,ヒューマノイドの具体化におけるコンタクトリッチな操作タスクの集合を解決するために,強化学習を適用する上で重要な課題について検討する。 私たちの主なコントリビューションは、シミュレーション環境を現実世界に近づける自動リアルタイムチューニングモジュールです。 本研究は,3つのヒューマノイド・デキスタラス・オペレーティング・タスクにおいて有望な結果を示し,それぞれのテクニックについてアブレーション研究を行った。
• 参考スコア（独自算出の注目度）: 61.033745979145536
• License:
• Abstract: Reinforcement learning has delivered promising results in achieving human- or even superhuman-level capabilities across diverse problem domains, but success in dexterous robot manipulation remains limited. This work investigates the key challenges in applying reinforcement learning to solve a collection of contact-rich manipulation tasks on a humanoid embodiment. We introduce novel techniques to overcome the identified challenges with empirical validation. Our main contributions include an automated real-to-sim tuning module that brings the simulated environment closer to the real world, a generalized reward design scheme that simplifies reward engineering for long-horizon contact-rich manipulation tasks, a divide-and-conquer distillation process that improves the sample efficiency of hard-exploration problems while maintaining sim-to-real performance, and a mixture of sparse and dense object representations to bridge the sim-to-real perception gap. We show promising results on three humanoid dexterous manipulation tasks, with ablation studies on each technique. Our work presents a successful approach to learning humanoid dexterous manipulation using sim-to-real reinforcement learning, achieving robust generalization and high performance without the need for human demonstration.
• Abstract（参考訳）: 強化学習は、様々な問題領域にまたがる人間や超人レベルの能力を達成する上で有望な成果をもたらしたが、巧妙なロボット操作の成功は依然として限られている。 本研究は,ヒューマノイドの具体化におけるコンタクトリッチな操作タスクの集合を解決するために,強化学習を適用する上で重要な課題について検討する。 本稿では,実証実験による課題を克服するための新しい手法を提案する。 我々の主な貢献は、シミュレーションされた環境を現実世界に近づける自動リアルタイムチューニングモジュール、長距離接触リッチな操作タスクに対する報酬工学を単純化する汎用的な報酬設計スキーム、sim-to-realパフォーマンスを維持しながら、ハード探索問題のサンプル効率を改善する分別蒸留プロセス、sim-to-real知覚ギャップを橋渡しするスパースと高密度オブジェクト表現の混合を含む。 本研究は,3つのヒューマノイド・デキスタラス・オペレーティング・タスクにおいて有望な結果を示し,それぞれのテクニックについてアブレーション研究を行った。 本研究は,人間の実演を必要とせず,頑健な一般化と高い性能を達成し,シミュレート・トゥ・リアル強化学習を用いたヒューマノイド・デキステラスな操作の学習に成功している。

関連論文リスト

• VITAL: Visual Teleoperation to Enhance Robot Learning through Human-in-the-Loop Corrections [10.49712834719005]
  本稿では,VITAL と呼ばれる双方向操作作業のための低コストな視覚遠隔操作システムを提案する。 われわれのアプローチは、安価なハードウェアとビジュアル処理技術を利用してデモを収集する。 実環境と模擬環境の両方を活用することにより,学習方針の一般化性と堅牢性を高める。
  論文  参考訳（メタデータ） (2024-07-30T23:29:47Z)
• Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
  模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。 本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。 GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
  論文  参考訳（メタデータ） (2024-07-22T06:12:21Z)
• Tactile Active Inference Reinforcement Learning for Efficient Robotic Manipulation Skill Acquisition [10.072992621244042]
  触覚能動推論強化学習(Tactile Active Inference Reinforcement Learning, Tactile-AIRL)と呼ばれるロボット操作におけるスキル学習手法を提案する。 強化学習(RL)の性能を高めるために,モデルに基づく手法と本質的な好奇心をRLプロセスに統合した能動推論を導入する。 本研究では,タスクをプッシュする非包括的オブジェクトにおいて,学習効率が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-11-19T10:19:22Z)
• Learning Human-to-Robot Handovers from Point Clouds [63.18127198174958]
  視覚に基づく人間ロボットハンドオーバの制御ポリシーを学習する最初のフレームワークを提案する。 シミュレーションベンチマーク,sim-to-sim転送,sim-to-real転送において,ベースラインよりも大きな性能向上を示した。
  論文  参考訳（メタデータ） (2023-03-30T17:58:36Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Practical Imitation Learning in the Real World via Task Consistency Loss [18.827979446629296]
  本稿では,機能レベルと行動予測レベルの両方において,シミュレートと実際のアライメントを促進する自己監督的損失を提案する。 我々は、シミュレートとリアルで遠隔操作されたデモンストレーションを16.2時間しか使っていない10のシーンで80%の成功を達成した。
  論文  参考訳（メタデータ） (2022-02-03T21:43:06Z)
• Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation [55.31301153979621]
  我々は,実世界の長距離ロボット操作作業に,スキル発見による取り組みを行う。 未解決のデモンストレーションから再利用可能なスキルのライブラリを学ぶためのボトムアップアプローチを提案する。 提案手法は,多段階操作タスクにおける最先端の模倣学習手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-28T16:18:54Z)
• An Empowerment-based Solution to Robotic Manipulation Tasks with Sparse Rewards [14.937474939057596]
  ロボットマニピュレータは、非常にまばらな指示信号しか提供されていなくても、タスクを達成できることを学ぶことが重要である。 本稿では,任意の標準強化学習アルゴリズムに容易に組み込むことができる本質的な動機づけ手法を提案する。
  論文  参考訳（メタデータ） (2020-10-15T19:06:21Z)
• The Ingredients of Real-World Robotic Reinforcement Learning [71.92831985295163]
  実世界で収集されたデータによって継続的に自律的に改善できるロボット学習システムに必要な要素について論じる。 本稿では,このようなシステムの特異なインスタンス化を事例として,デクスタラスな操作を事例として提案する。 我々は人間の介入なしに学習できることを実証し、現実世界の3本指の手で様々な視覚ベースのスキルを習得する。
  論文  参考訳（メタデータ） (2020-04-27T03:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。