論文の概要: ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning
- arxiv url: http://arxiv.org/abs/2503.21860v1
- Date: Thu, 27 Mar 2025 17:50:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 19:09:59.434299
- Title: ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning
- Title(参考訳): ManipTrans: 残留学習による効率の良いデクサラスバイマニピュレーショントランスファー
- Authors: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, Siyuan Huang,
- Abstract要約: シミュレーションにおいて,ヒトの両腕のスキルを手指に伝達する新しい手法であるManipTransを紹介した。
実験によると、ManipTransは成功率、忠実度、効率性において最先端の手法を超越している。
DexManipNetという大規模なデータセットも作成しています。
- 参考スコア(独自算出の注目度): 24.675197489823898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.
- Abstract(参考訳): 人間の手は対話において中心的な役割を担い、器用なロボット操作の研究を動機付けている。
データ駆動型エンボディAIアルゴリズムは、正確で大規模で人間のような操作シーケンスを必要としており、従来の強化学習や現実世界の遠隔操作では入手が困難である。
そこで本研究では,ロボットハンドに人体を効率よく移動させる2段階の手法であるManipTransを紹介した。
ManipTransはまず、手の動きを模倣するためにジェネラリストの軌道模倣機を事前訓練し、その後、相互作用制約の下で特定の残留モジュールを微調整し、複雑な2次元タスクの効率的な学習と正確な実行を可能にする。
実験によると、ManipTransは成功率、忠実度、効率性において最先端の手法を超越している。
ManipTransを活用することで、複数のハンドオブジェクトデータセットをロボットハンドに転送し、ペンキャップやボトルの解凍といった、これまで探索されていなかったタスクを特徴とする大規模なデータセットであるDexManipNetを作成します。
DexManipNetは、ロボット操作の3.3Kエピソードで構成されており、容易に拡張可能であり、器用な手のためのさらなるポリシートレーニングと現実世界の展開を可能にしている。
関連論文リスト
- MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos [43.836197294180316]
そこで本研究では,より効率的なポリシー学習を実現するために,よりリッチな操作を生かした創発的ロボット操作手法であるMAPLEを提案する。
具体的には、手動接触時の手動接触点と詳細な手動ポーズを予測し、学習した特徴を用いて下流操作タスクのポリシーを訓練する。
論文 参考訳(メタデータ) (2025-04-08T14:25:25Z) - Dexterous Manipulation through Imitation Learning: A Survey [28.04590024211786]
イミテーションラーニング(IL)は、ロボットが専門家によるデモンストレーションから直接巧妙な操作スキルを習得できるようにすることによって、代替手段を提供する。
ILは、明示的なモデリングと大規模な試行錯誤の必要性を回避しながら、きめ細かい調整と接触ダイナミクスをキャプチャする。
私たちのゴールは、研究者や実践者たちに、この急速に進化する領域の包括的紹介を提供することです。
論文 参考訳(メタデータ) (2025-04-04T15:14:38Z) - AnyDexGrasp: General Dexterous Grasping for Different Hands with Human-level Learning Efficiency [49.868970174484204]
我々は,最小限のデータを用いてきめ細やかな把握を学習するための効率的なアプローチを提案する。
提案手法は,40個の訓練対象に対して数百のグリップ試行を行うだけで,人間レベルの学習効率で高い性能を達成できる。
この方法は、ヒューマノイドロボット、人工装具、その他頑丈で汎用的なロボット操作を必要とする領域に対する有望な応用を実証する。
論文 参考訳(メタデータ) (2025-02-23T03:26:06Z) - DexterityGen: Foundation Controller for Unprecedented Dexterity [67.15251368211361]
ツール使用など,ロボットの巧妙な操作スキルを教えることは,大きな課題となる。
現在のアプローチは、人間の遠隔操作(模倣学習)とシミュレート・トゥ・リアル強化学習(sim-to-real reinforcement learning)の2つの戦略に大別できる。
本稿では,手動回転や翻訳などの大規模動きプリミティブをRLで事前学習するDexterityGenを紹介する。
現実の世界では、人間の遠隔操作をコントローラーのプロンプトとして利用し、厳密な振る舞いを生み出す。
論文 参考訳(メタデータ) (2025-02-06T18:49:35Z) - VTAO-BiManip: Masked Visual-Tactile-Action Pre-training with Object Understanding for Bimanual Dexterous Manipulation [8.882764358932276]
両手の DoF の高さと協調性のため、ロボット工学における両面的な操作は依然として重要な課題である。
既存の片手操作技術は、人間のデモンストレーションを利用してRL法を誘導するが、複数のサブスキルを含む複雑な双対タスクに一般化できないことが多い。
VTAO-BiManipは,視覚触覚前訓練と物体理解を組み合わせた新しいフレームワークである。
論文 参考訳(メタデータ) (2025-01-07T08:14:53Z) - DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning [42.88605563822155]
本稿では,人間の手による人型ロボットの人体実験からトラジェクトリを合成する大規模自動データ生成システムを提案する。
私たちは、たった60のソースの人間デモから、これらのタスク全体で21Kのデモを生成します。
また、実世界のヒューマノイド缶ソートタスクに、実世界のシミュレート・トゥ・リアルパイプラインを配置する。
論文 参考訳(メタデータ) (2024-10-31T17:48:45Z) - Human-Agent Joint Learning for Efficient Robot Manipulation Skill Acquisition [48.65867987106428]
本稿では,人間とロボットの協調学習システムについて紹介する。
これにより、ロボットエンドエフェクターの制御を学習支援エージェントと共有することができる。
これにより、ダウンストリームタスクにおいて、収集されたデータが十分な品質であることを保証しながら、人間の適応の必要性を減らすことができる。
論文 参考訳(メタデータ) (2024-06-29T03:37:29Z) - RealDex: Towards Human-like Grasping for Robotic Dexterous Hand [64.33746404551343]
本稿では,人間の行動パターンを取り入れた手の動きを正確に把握する先駆的データセットであるRealDexを紹介する。
RealDexは、現実のシナリオにおける認識、認識、操作を自動化するためのヒューマノイドロボットを進化させる上で、大きな可能性を秘めている。
論文 参考訳(メタデータ) (2024-02-21T14:59:46Z) - Dexterous Manipulation from Images: Autonomous Real-World RL via Substep
Guidance [71.36749876465618]
本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。
本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。
実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
論文 参考訳(メタデータ) (2022-12-19T22:50:40Z) - Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient
Dexterous Manipulation [13.135013586592585]
DIME(Dexterous Made Easy)は、デクスタラスな操作のための新しい模倣学習フレームワークである。
DIMEは、人間のオペレーターを観察し、ロボットハンドを遠隔操作するために、単一のRGBカメラしか必要としない。
シミュレーションと実ロボットベンチマークの両方において、複雑な手動操作タスクを解くためにDIMEを使用できることを示す。
論文 参考訳(メタデータ) (2022-03-24T17:58:54Z) - Human-in-the-Loop Imitation Learning using Remote Teleoperation [72.2847988686463]
6-DoF操作設定に合わせたデータ収集システムを構築します。
システムによって収集された新しいデータに基づいて,ポリシーを反復的にトレーニングするアルゴリズムを開発した。
介入型システムで収集したデータに基づいて訓練されたエージェントと、非介入型デモ参加者が収集した同等数のサンプルで訓練されたアルゴリズムを上回るエージェントを実証する。
論文 参考訳(メタデータ) (2020-12-12T05:30:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。