論文の概要: SLIM: Sim-to-Real Legged Instructive Manipulation via Long-Horizon Visuomotor Learning

• arxiv url: http://arxiv.org/abs/2501.09905v4
• Date: Wed, 29 Jan 2025 19:58:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:13:18.007480
• Title: SLIM: Sim-to-Real Legged Instructive Manipulation via Long-Horizon Visuomotor Learning
• Title（参考訳）: SLIM----real Legged Instructive Manipulation by Long-Horizon Visuomotor Learning
• Authors: Haichao Zhang, Haonan Yu, Le Zhao, Andrew Choi, Qinxun Bai, Break Yang, Wei Xu,
• Abstract要約: 本稿では,シミュレーションで純粋に強化学習によって訓練された実世界の課題を,低コストで解決するモバイル操作システムを提案する。 単一のポリシーは、検索、移動、把握、輸送、降下を含む長期的タスクを自律的に解決し、80%近い現実世界の成功を達成します。 この性能は、ロボットがより効率的であり、遠隔操作の約1.5倍の速度で動作しているのに対して、同じタスクにおける専門家の遠隔操作に匹敵する。
• 参考スコア（独自算出の注目度）: 20.33419404756149
• License:
• Abstract: We present a low-cost legged mobile manipulation system that solves long-horizon real-world tasks, trained by reinforcement learning purely in simulation. This system is made possible by 1) a hierarchical design of a high-level policy for visual-mobile manipulation following task instructions, and a low-level quadruped locomotion policy, 2) a teacher and student training pipeline for the high level, which trains a teacher to tackle long-horizon tasks using privileged task decomposition and target object information, and further trains a student for visual-mobile manipulation via RL guided by the teacher's behavior, and 3) a suite of techniques for minimizing the sim-to-real gap. In contrast to many previous works that use high-end equipments, our system demonstrates effective performance with more accessible hardware -- specifically, a Unitree Go1 quadruped, a WidowX-250S arm, and a single wrist-mounted RGB camera -- despite the increased challenges of sim-to-real transfer. Trained fully in simulation, a single policy autonomously solves long-horizon tasks involving search, move to, grasp, transport, and drop into, achieving nearly 80% real-world success. This performance is comparable to that of expert human teleoperation on the same tasks while the robot is more efficient, operating at about 1.5x the speed of the teleoperation. Finally, we perform extensive ablations on key techniques for efficient RL training and effective sim-to-real transfer, and demonstrate effective deployment across diverse indoor and outdoor scenes under various lighting conditions.
• Abstract（参考訳）: そこで本研究では,シミュレーションにおける強化学習によって訓練された,長期的実世界の課題を解消する,低コストな脚型移動操作システムを提案する。 このシステムは実現される。 1)タスク指示に続く視覚移動操作のための高レベルポリシーの階層設計及び低レベル四足歩行ポリシー 2高レベルの教員及び学生の訓練パイプラインで、特権的タスク分解と目標対象情報を用いて、長期的課題に取り組むよう教師に指示し、さらに教師の行動に導かれたRLを介して視覚的移動操作のための学生を訓練する。 3)sim-to-realギャップを最小化するための一連のテクニック。 ハイエンド機器を使用する以前の多くの作業とは対照的に、我々のシステムはよりアクセスしやすいハードウェア(特にUnitree Go1の四脚、WidowX-250Sアーム、手首に装着されたRGBカメラ)で効果的な性能を示す。 完全にシミュレーションで訓練された単一のポリシーは、検索、移動、把握、輸送、降下を含む長期的タスクを自律的に解決し、80%近い現実世界の成功を達成する。 この性能は、ロボットがより効率的であり、遠隔操作の約1.5倍の速度で動作しているのに対して、同じタスクにおける専門家の遠隔操作に匹敵する。 最後に, 効率的なRL訓練と実時間移動のための重要な技術について広範囲にわたる検討を行い, 様々な照明条件下での屋内および屋外の様々なシーンに効果的に展開できることを実証した。

関連論文リスト

• WildLMa: Long Horizon Loco-Manipulation in the Wild [18.542469512253295]
  In-the-wildモバイル操作は、さまざまな現実世界環境にロボットを配置することを目的としている。 WildLMaは、模倣や学習プランナーを通じて得られる、汎用的なビズモータスキルのライブラリである。 我々は,大学の廊下や屋外の地形でゴミを掃除するなど,実用的なロボット応用を実演する。
  論文  参考訳（メタデータ） (2024-11-22T18:56:56Z)
• SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation [58.14969377419633]
  タスクをより小さな学習サブプロブレムに分解し、第2に模倣と強化学習を組み合わせてその強みを最大化するシステムであるspireを提案する。 我々は、模倣学習、強化学習、計画を統合する従来の手法よりも平均タスク性能が35%から50%向上していることを発見した。
  論文  参考訳（メタデータ） (2024-10-23T17:42:07Z)
• Contrastive Learning for Enhancing Robust Scene Transfer in Vision-based Agile Flight [21.728935597793473]
  本研究では、ゼロショットシーン転送と実世界展開を可能にする視覚表現学習のための適応型マルチペアコントラスト学習戦略を提案する。 私たちは、アジャイルでビジョンベースの4倍体飛行のタスクに対して、私たちのアプローチのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2023-09-18T15:25:59Z)
• Bi-Manual Block Assembly via Sim-to-Real Reinforcement Learning [24.223788665601678]
  2つのxArm6ロボットがU字型組立タスクを、シミュレーションで90%以上、実際のハードウェアで50%の確率で解決する。 以上の結果から,本システムは今後,深部RLおよびSim2Real転送バイマニュアルポリアの研究を刺激していきたいと願っている。
  論文  参考訳（メタデータ） (2023-03-27T01:25:24Z)
• Efficient Learning of High Level Plans from Play [57.29562823883257]
  本稿では,移動計画と深いRLを橋渡しするロボット学習のフレームワークであるELF-Pについて紹介する。 ELF-Pは、複数の現実的な操作タスクよりも、関連するベースラインよりもはるかに優れたサンプル効率を有することを示す。
  論文  参考訳（メタデータ） (2023-03-16T20:09:47Z)
• CACTI: A Framework for Scalable Multi-Task Multi-Scene Visual Imitation Learning [33.88636835443266]
  キッチン環境におけるマルチタスク・マルチシーンロボット操作のレンズ下でのロボット学習のスケールアップのためのフレームワークを提案する。 CACTIという名前のフレームワークは,データ収集,データ拡張,視覚表現学習,模倣ポリシートレーニングの4つの段階を別々に扱う。 CACTIフレームワークでは、拡張段階の一部として、画像生成に最先端モデルを適用する利点を強調している。
  論文  参考訳（メタデータ） (2022-12-12T05:30:08Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Learning Perceptual Locomotion on Uneven Terrains using Sparse Visual Observations [75.60524561611008]
  この研究は、人中心の環境において、よく見られるバンプ、ランプ、階段の広い範囲にわたる知覚的移動を達成するために、スパースな視覚的観察の使用を活用することを目的としている。 まず、関心の均一な面を表すことのできる最小限の視覚入力を定式化し、このような外受容的・固有受容的データを統合した学習フレームワークを提案する。 本研究では, 平地を全方向歩行し, 障害物のある地形を前方移動させるタスクにおいて, 学習方針を検証し, 高い成功率を示す。
  論文  参考訳（メタデータ） (2021-09-28T20:25:10Z)
• ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation [99.2543521972137]
  ReLMoGenは、サブゴールを予測するための学習されたポリシーと、これらのサブゴールに到達するために必要な動作を計画し実行するためのモーションジェネレータを組み合わせたフレームワークである。 本手法は,フォトリアリスティック・シミュレーション環境における7つのロボットタスクの多種多様なセットをベンチマークする。 ReLMoGenは、テスト時に異なるモーションジェネレータ間で顕著な転送可能性を示し、実際のロボットに転送する大きな可能性を示している。
  論文  参考訳（メタデータ） (2020-08-18T08:05:15Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。