論文の概要: Human2LocoMan: Learning Versatile Quadrupedal Manipulation with Human Pretraining
- arxiv url: http://arxiv.org/abs/2506.16475v1
- Date: Thu, 19 Jun 2025 17:22:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-23 19:00:05.185226
- Title: Human2LocoMan: Learning Versatile Quadrupedal Manipulation with Human Pretraining
- Title（参考訳）: 人間2ロコマン:人間の事前訓練による四足歩行操作の学習
- Authors: Yaru Niu, Yunzhe Zhang, Mingyang Yu, Changyi Lin, Chenhao Li, Yikai Wang, Yuxiang Yang, Wenhao Yu, Tingnan Zhang, Bingqing Chen, Jonathan Francis, Zhenzhen Li, Jie Tan, Ding Zhao,
- Abstract要約: 我々は,人間とロコマンの双方から収集したデータを活用して,四面体操作のためのクロス・エボディメント・模倣学習システムを提案する。
我々は,6つの実世界の操作タスクにおいて,平均成功率を41.9%向上させるシステムの有効性を検証した。
- 参考スコア（独自算出の注目度）: 38.559900728422875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quadrupedal robots have demonstrated impressive locomotion capabilities in complex environments, but equipping them with autonomous versatile manipulation skills in a scalable way remains a significant challenge. In this work, we introduce a cross-embodiment imitation learning system for quadrupedal manipulation, leveraging data collected from both humans and LocoMan, a quadruped equipped with multiple manipulation modes. Specifically, we develop a teleoperation and data collection pipeline, which unifies and modularizes the observation and action spaces of the human and the robot. To effectively leverage the collected data, we propose an efficient modularized architecture that supports co-training and pretraining on structured modality-aligned data across different embodiments. Additionally, we construct the first manipulation dataset for the LocoMan robot, covering various household tasks in both unimanual and bimanual modes, supplemented by a corresponding human dataset. We validate our system on six real-world manipulation tasks, where it achieves an average success rate improvement of 41.9% overall and 79.7% under out-of-distribution (OOD) settings compared to the baseline. Pretraining with human data contributes a 38.6% success rate improvement overall and 82.7% under OOD settings, enabling consistently better performance with only half the amount of robot data. Our code, hardware, and data are open-sourced at: https://human2bots.github.io.
- Abstract（参考訳）: 四足歩行ロボットは複雑な環境で印象的な移動能力を誇示してきたが、それらをスケーラブルな方法で自律的な多目的操作スキルに装備することは、依然として大きな課題だ。
本研究では,複数の操作モードを備えた四面体モデルであるLocoManと人間から収集したデータを活用した,四面体操作のためのクロス・エボディメント・模倣学習システムを提案する。
具体的には、人間とロボットの観察・行動空間を統一・モジュール化する遠隔操作・データ収集パイプラインを開発する。
収集したデータを効果的に活用するために,異なる実施形態にまたがる構造化モダリティ整合データに対する協調学習と事前学習を支援する,効率的なモジュール化アーキテクチャを提案する。
さらに,ロコマンロボットの最初の操作データセットを構築した。
本システムでは,6つの実世界の操作タスクにおいて,平均成功率を41.9%,アウト・オブ・ディストリビューション(OOD)設定で79.7%向上させる。
人間のデータによる事前トレーニングは、OOD設定下で38.6%の成功率の改善と82.7%の向上に寄与し、ロボットデータの半分の量で一貫してパフォーマンスが向上する。
私たちのコード、ハードウェア、データは、https://human2bots.github.io.comでオープンソース化されています。
関連論文リスト
- H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation [27.585828712261232]
H-RDT(Human to Robotics Diffusion Transformer)は、人間の操作データを利用してロボット操作能力を向上する新しいアプローチである。
私たちの重要な洞察は、大規模なエゴセントリックな人間操作ビデオとペアの3Dハンドポーズアノテーションが、自然な操作戦略を捉えたリッチな行動優先を提供するということです。
本研究では,(1)大規模な人間操作データに対する事前トレーニング,(2)モジュール型アクションエンコーダとデコーダを用いたロボット固有のデータに対するクロスエボディメント微調整という2段階の訓練パラダイムを導入する。
論文 参考訳（メタデータ） (2025-07-31T13:06:59Z) - RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation [51.86515213749527]
本稿では,多様な実データの自動生成を可能にするスケーラブルなシミュレーションフレームワークであるRoboTwin 2.0を紹介する。
sim-to-real転送を改善するため、RoboTwin 2.0は5つの軸に沿って構造化されたドメインランダム化を組み込んでいる。
このフレームワークは、5つのロボットエボディメントにまたがる50のデュアルアームタスクにまたがってインスタンス化されます。
論文 参考訳（メタデータ） (2025-06-22T16:26:53Z) - Tool-as-Interface: Learning Robot Policies from Human Tool Usage through Imitation Learning [16.394434999046293]
ツール使用時の知識を人間からロボットに伝達する枠組みを提案する。
我々は,ミートボールスクーピング,パンフリップ,ワインボトルのバランス,その他の複雑なタスクなど,現実世界のさまざまなタスクに対するアプローチを検証する。
論文 参考訳（メタデータ） (2025-04-06T20:40:19Z) - ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning [24.675197489823898]
シミュレーションにおいて,ヒトの両腕のスキルを手指に伝達する新しい手法であるManipTransを紹介した。
実験によると、ManipTransは成功率、忠実度、効率性において最先端の手法を超越している。
DexManipNetという大規模なデータセットも作成しています。
論文 参考訳（メタデータ） (2025-03-27T17:50:30Z) - DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning [42.88605563822155]
本稿では,人間の手による人型ロボットの人体実験からトラジェクトリを合成する大規模自動データ生成システムを提案する。
私たちは、たった60のソースの人間デモから、これらのタスク全体で21Kのデモを生成します。
また、実世界のヒューマノイド缶ソートタスクに、実世界のシミュレート・トゥ・リアルパイプラインを配置する。
論文 参考訳（メタデータ） (2024-10-31T17:48:45Z) - Human-Agent Joint Learning for Efficient Robot Manipulation Skill Acquisition [48.65867987106428]
本稿では,人間とロボットの協調学習システムについて紹介する。
これにより、ロボットエンドエフェクターの制御を学習支援エージェントと共有することができる。
これにより、ダウンストリームタスクにおいて、収集されたデータが十分な品質であることを保証しながら、人間の適応の必要性を減らすことができる。
論文 参考訳（メタデータ） (2024-06-29T03:37:29Z) - BridgeData V2: A Dataset for Robot Learning at Scale [73.86688388408021]
BridgeData V2は、ロボット操作行動の大規模で多様なデータセットである。
対象は、24の環境にまたがる60,096個のトラジェクトリだ。
論文 参考訳（メタデータ） (2023-08-24T17:41:20Z) - Surfer: Progressive Reasoning with World Models for Robotic Manipulation [51.26109827779267]
本稿では,新しいシンプルなロボット操作フレームワークであるSurferを紹介する。
Surferは、ロボット操作を視覚シーンの状態伝達として扱い、それをアクションとシーンという2つの部分に分割する。
これは世界モデルに基づいており、ロボット操作を視覚シーンの状態伝達として扱い、アクションとシーンの2つの部分に分けられる。
論文 参考訳（メタデータ） (2023-06-20T07:06:04Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳（メタデータ） (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。