論文の概要: Gen2Dex: Learning Dexterous Manipulation from Simulation-Initialized Generated Video Demonstrations

• arxiv url: http://arxiv.org/abs/2610.24392v1
• Date: Sat, 17 Oct 2026 02:50:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:43:33.988398
• Title: Gen2Dex: Learning Dexterous Manipulation from Simulation-Initialized Generated Video Demonstrations
• Title（参考訳）: Gen2Dex: シミュレーション初期化ビデオデモからデクステラスマニピュレーションを学習する
• Abstract要約: 本稿では,シミュレーション映像を物理的に実行可能なデクスタラスロボットのデモに変換するためのエンドツーエンドフレームワークを提案する。 提案手法は, 従来手法と競合する性能を示し, 生成されたビデオから抽出した参照に対して, より堅牢性を示す。
• 参考スコア（独自算出の注目度）: 29.810057314282204
• License:
• Abstract: Human video demonstrations provide rich manipulation strategies for dexterous manipulation learning. We study a setting in which a fully specified simulated scene is used to generate videos that specify the demonstrated manipulation behavior. This setup provides access to scene information such as object geometry, articulation, and camera parameters, while allowing direct control over task and scene configuration. However, generated videos may contain geometric distortions, inaccurate contacts, and other physical inconsistencies, making the recovered motion difficult to execute directly on a robot. We present an end-to-end framework for converting such simulation-grounded videos into physically executable dexterous robot demonstrations. Our perception pipeline leverages the known scene through model-based object tracking with dense foundation-model features and depth-based hand-object alignment. The recovered human motion is then retargeted and physically grounded using residual reinforcement learning, where a backward curriculum and a cache of physically valid reset states enable the policy to correct imperfect video-derived references while preserving the demonstrated manipulation strategy. On clean ARCTIC demonstrations, our method achieves competitive performance with prior dexterous retargeting approaches and shows greater robustness when applied to references extracted from generated videos. We further demonstrate diverse rigid and articulated manipulation tasks in simulation and successful open-loop transfer of the optimized trajectories to a real dexterous robot.
• Abstract（参考訳）: 人間のビデオデモは、巧妙な操作学習のためのリッチな操作戦略を提供する。 本研究では、実演動作を示すビデオを生成するために、完全に特定されたシミュレートシーンを使用する環境について検討する。 この設定は、オブジェクトの幾何学、調音、カメラパラメータなどのシーン情報へのアクセスを提供し、タスクやシーンの設定を直接制御できる。 しかし、生成されたビデオには幾何学的歪み、不正確な接触、その他の物理的不整合が含まれており、回復した動きをロボットに直接実行することは困難である。 本稿では,このようなシミュレーション映像を物理的に実行可能なデクスタラスなロボットデモに変換するためのエンドツーエンドのフレームワークを提案する。 我々の知覚パイプラインは、モデルに基づく物体追跡と、密度の高い基礎モデル特徴と深度に基づく手オブジェクトアライメントによって、既知のシーンを活用する。 復元された人間の動きは、残留強化学習を用いて再ターゲットされ、物理的に有効なリセット状態の後方カリキュラムとキャッシュにより、実証された操作戦略を維持しながら、不完全なビデオからの参照を補正することができる。 クリーンなARCTICデモでは,従来のデクスタラスリターゲティング手法と競合し,生成したビデオから抽出した参照に適用した場合のロバスト性が向上する。 さらに、最適化された軌跡を実空間ロボットに開放ループ移動させるシミュレーションおよび成功例において、多種多様な剛性および調音操作タスクを実証した。

関連論文リスト

• Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
  ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
  論文  参考訳（メタデータ） (2026-10-05T11:08:50Z)
• KnowDemo: Knowledge-Guided Robot Demonstration Generation from Human Videos [4.5624618494435705]
  KnowDemoは、人間のビデオから構造化された操作知識を使用して、多様なロボットデモを生成するフレームワークである。 政策学習のために生成したデータを検証し,3つのタスクにまたがるシム・トゥ・リアル・トランスファーを実現する。
  論文  参考訳（メタデータ） (2026-09-18T02:19:13Z)
• GenVid2Robot: From Video Generation to Robot Manipulation via Rigid-Geometric Consistency [19.566368780107613]
  GenVid2Robotは、生成されたビデオモーションを実行可能なリアルタイムロボット操作トラジェクトリに変換するフレームワークである。 実験により、GenVid2Robotは、視運動前兆を粗いメトリ幾何でグラウンドすることで、生成ビデオ誘導操作の信頼性を向上させることが示された。
  論文  参考訳（メタデータ） (2026-07-10T08:32:47Z)
• CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives [65.89192712575797]
  本研究では,モノクロ映像から再現可能な人物の動きとシーン形状を復元するCRISPを紹介する。 我々の手法は、人中心のビデオベンチマークにおいて、モーショントラッキングの失敗率を55.2%から6.9%に下げる。 このことは、CRISPが物理的に有意な人間の動きと対話環境を大規模に生成する能力を示している。
  論文  参考訳（メタデータ） (2025-12-16T18:59:50Z)
• Robotic Manipulation by Imitating Generated Videos Without Physical Demonstrations [19.28925489415787]
  RIGVidは、AI生成ビデオの模倣により、ロボットが複雑な操作タスクを実行できる。 ビデオ拡散モデルは潜在的なデモビデオを生成し、視覚言語モデルはコマンドに従わない結果を自動的にフィルタリングする。 6Dポーズトラッカーは、ビデオからオブジェクトの軌跡を抽出し、その軌跡をエンボディメント非依存の方法でロボットに再ターゲティングする。
  論文  参考訳（メタデータ） (2025-07-01T17:39:59Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• SimEndoGS: Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians [19.590481146949685]
  立体内視鏡画像から3D Gaussianを学習可能な手術シーンの表現として紹介する。 本研究では3次元ガウスに物理特性を統合したマテリアルポイント法を適用し,現実的なシーン変形を実現する。 以上の結果から,内視鏡的画像から外科的シーンを効率的に再構成し,シミュレートし,外科的シーンを再構築するのにほんの数分しか要しないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-02T02:34:19Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。