論文の概要: DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model
- arxiv url: http://arxiv.org/abs/2510.08556v1
- Date: Thu, 09 Oct 2025 17:59:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:15.302054
- Title: DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model
- Title(参考訳): DexNDM:ジョイント・ワイズ・ニューラル・ダイナミクス・モデルによるデクスタース・イン・ハンド・ローテーションのためのリアリティ・ギャップのクローン化
- Authors: Xueyi Liu, He Wang, Li Yi,
- Abstract要約: 我々は,シミュレーションで訓練された単一ポリシーを,現実世界のさまざまな対象や条件に一般化することのできる,新しいフレームワークを開発した。
単一のポリシーは、複雑な形状(例えば動物)、高いアスペクト比(最大5.33)、小さなサイズで挑戦対象を回転させることに成功した。
- 参考スコア(独自算出の注目度): 22.46947045094797
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Achieving generalized in-hand object rotation remains a significant challenge in robotics, largely due to the difficulty of transferring policies from simulation to the real world. The complex, contact-rich dynamics of dexterous manipulation create a "reality gap" that has limited prior work to constrained scenarios involving simple geometries, limited object sizes and aspect ratios, constrained wrist poses, or customized hands. We address this sim-to-real challenge with a novel framework that enables a single policy, trained in simulation, to generalize to a wide variety of objects and conditions in the real world. The core of our method is a joint-wise dynamics model that learns to bridge the reality gap by effectively fitting limited amount of real-world collected data and then adapting the sim policy's actions accordingly. The model is highly data-efficient and generalizable across different whole-hand interaction distributions by factorizing dynamics across joints, compressing system-wide influences into low-dimensional variables, and learning each joint's evolution from its own dynamic profile, implicitly capturing these net effects. We pair this with a fully autonomous data collection strategy that gathers diverse, real-world interaction data with minimal human intervention. Our complete pipeline demonstrates unprecedented generality: a single policy successfully rotates challenging objects with complex shapes (e.g., animals), high aspect ratios (up to 5.33), and small sizes, all while handling diverse wrist orientations and rotation axes. Comprehensive real-world evaluations and a teleoperation application for complex tasks validate the effectiveness and robustness of our approach. Website: https://meowuu7.github.io/DexNDM/
- Abstract(参考訳): 一般化された物体の回転を達成することは、ロボット工学において重要な課題であり、主にシミュレーションから実世界へのポリシーの伝達が困難である。
複雑な接触に富んだ巧妙な操作は、単純なジオメトリ、限定されたオブジェクトサイズとアスペクト比、制約された手首ポーズ、カスタマイズされた手などを含む制約されたシナリオに事前作業が制限された「現実のギャップ」を生み出す。
シミュレーションで訓練された単一のポリシを,現実世界のさまざまなオブジェクトや条件に一般化する,新たなフレームワークによって,このシミュレート・トゥ・リアルな課題に対処する。
本手法のコアとなるのは,実世界の収集された限られた量のデータを効果的に組み合わせて,シムポリシーの行動に適応させることで,現実のギャップを埋めることを学ぶジョイント・ワイド・ダイナミクス・モデルである。
このモデルは、関節のダイナミクスを分解し、システム全体の影響を低次元の変数に圧縮し、各関節の進化を自身の動的プロファイルから学習し、これらの純効果を暗黙的に捉えることによって、様々な手動の相互作用分布にまたがるデータ効率が高く、一般化可能である。
私たちはこれを、人間の介入を最小限に抑えて、多様な現実世界のインタラクションデータを収集する、完全に自律的なデータ収集戦略と組み合わせます。
我々の完全なパイプラインは、前例のない一般性を示している: 単一のポリシーは、複雑な形(例えば動物)、高いアスペクト比(最大5.33)、そして小さなサイズを持つ挑戦的な物体を、多様な手首の向きと回転軸を扱いながら、うまく回転させる。
複雑なタスクに対する総合的な実世界の評価と遠隔操作アプリケーションにより、我々のアプローチの有効性とロバスト性を検証する。
Webサイト: https://meowuu7.github.io/DexNDM/
関連論文リスト
- R2RGEN: Real-to-Real 3D Data Generation for Spatially Generalized Manipulation [74.41728218960465]
本稿では,実世界のデータを生成するために,ポイントクラウド観測-アクションペアを直接拡張するリアルタイム3Dデータ生成フレームワーク(R2RGen)を提案する。
R2RGenは、広範な実験におけるデータの効率を大幅に向上させ、モバイル操作におけるスケーリングと応用の強い可能性を示す。
論文 参考訳(メタデータ) (2025-10-09T17:55:44Z) - ExoPredicator: Learning Abstract Models of Dynamic Worlds for Robot Planning [77.49815848173613]
本研究では,内因性行動とメカニズムの両方について,シンボル的状態表現と因果過程を共同で学習する抽象世界モデルのためのフレームワークを提案する。
シミュレーションされた5つのテーブルトップロボット環境の中で、学習されたモデルは、より多くのオブジェクトとより複雑な目標を持つ保留タスクに一般化した高速な計画を可能にし、幅広いベースラインを上回ります。
論文 参考訳(メタデータ) (2025-09-30T13:44:34Z) - Multi-Modal Manipulation via Multi-Modal Policy Consensus [62.49978559936122]
本稿では,ロボット操作のための多様な感覚モダリティを統合するための新しいアプローチを提案する。
提案手法は,それぞれが単一の表現に特化している拡散モデルの集合にポリシーを分解する。
我々は、RLBenchにおけるシミュレーション操作タスクと、隠蔽対象のピック、手作業のスプーン再配向、パズル挿入といった実世界のタスクについて評価した。
論文 参考訳(メタデータ) (2025-09-27T19:43:04Z) - Generalizable Domain Adaptation for Sim-and-Real Policy Co-Training [21.855770200309674]
一般化可能な操作ポリシーを学習するための統合型sim-and-real協調学習フレームワークを提案する。
シミュレーションデータを活用することで,実世界の成功率を最大30%向上できることを示す。
論文 参考訳(メタデータ) (2025-09-23T04:32:53Z) - DyWA: Dynamics-adaptive World Action Model for Generalizable Non-prehensile Manipulation [16.863534382288705]
本研究では,未来の状態を共同で予測し,歴史的軌跡に基づく動的変動に適応して行動学習を促進する新しい枠組みを提案する。
DyWAは実世界の実験で平均68%の成功率を達成した。
論文 参考訳(メタデータ) (2025-03-21T02:29:52Z) - Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids [56.892520712892804]
本稿では,ヒューマノイドロボットを訓練して3つの巧妙な操作を行う,実用的なシミュレート・トゥ・リアルなRLレシピを提案する。
未確認のオブジェクトやロバストで適応的な政策行動に対して高い成功率を示す。
論文 参考訳(メタデータ) (2025-02-27T18:59:52Z) - InterMimic: Towards Universal Whole-Body Control for Physics-Based Human-Object Interactions [27.225777494300775]
このフレームワークは、単一のポリシーで、何時間も不完全なMoCapデータからしっかりと学習することができる。
実験の結果,InterMimicは複数のHOIデータセットにまたがって,現実的で多様なインタラクションを生成できることがわかった。
論文 参考訳(メタデータ) (2025-02-27T18:59:12Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。