論文の概要: Reconstruction-Augmented Visuomotor Pre-Training of 3D-Grounded Bimanual Dexterity from RGB-Only Human Videos

• arxiv url: http://arxiv.org/abs/2610.29716v1
• Date: Wed, 21 Oct 2026 13:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.370068
• Title: Reconstruction-Augmented Visuomotor Pre-Training of 3D-Grounded Bimanual Dexterity from RGB-Only Human Videos
• Title（参考訳）: RGB-Only Human Videoによる3次元周囲の2次元デキスタリティの再構築前評価
• Abstract要約: SpaceDexは、RGBのみの人間ビデオから3Dグラウンドのバイマダルデキスタリティを学習するフレームワークである。 シーン形状を再構成し,手の動きを推定し,手の大きさを3次元手の大きさで比較した。 再構成幾何による事前トレーニングは、手の動きだけでの事前トレーニングよりも14.2ポイントの成功を向上させる。
• 参考スコア（独自算出の注目度）: 14.11773775273402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present SpatialDex, a framework that learns 3D-grounded bimanual dexterity from RGB-only human videos through reconstruction-augmented visuomotor pre-training. The central idea is to learn human behavior together with its spatial context. From each video, we reconstruct the scene geometry and estimate the hand motion, align them at a shared video-level scale using the hand-size prior of 3D hand estimates. We retain the reconstructed geometry as both a policy input and a prediction target. The policy grounds the token grid of a pre-trained vision-language model in this geometry through gated residual fusion, is trained to predict future scene geometry alongside wrist and finger actions, and generates finger motion conditioned on the predicted trajectories of both wrists. Pre-trained on 1M human-video clips and fine-tuned with a small number of robot demonstrations, SpatialDex outperforms the state-of-the-art methods by 16.5 points on nine simulated dexterous tasks across two embodiments and by 38.3 points on six real-world bimanual dexterous tasks. Under a matched comparison, pre-training with reconstructed geometry improves success by 14.2 points over pre-training on hand motion alone.
• Abstract（参考訳）: 本研究では,RGBのみの人間ビデオから3次元のバイマンデキスタリティを学習するフレームワークであるSpatialDexについて述べる。 中心となる考え方は、人間の行動とその空間的文脈を学習することである。 各映像からシーン形状を再構成し,手の動きを推定し,手の大きさを3次元手の大きさで比較した。 我々は、再構成された幾何学をポリシー入力と予測ターゲットの両方として保持する。 このポリシーは、この幾何学における事前学習された視覚言語モデルのトークングリッドをゲート残差融合により基礎づけ、手首と指の動きとともに将来のシーン幾何学を予測し、両手首の予測軌跡に条件付けされた指の動きを生成するように訓練されている。 100万本のビデオクリップで事前訓練され、少数のロボットデモで微調整され、SpatialDexは最先端の手法を16.5ポイント、シミュレートされた9つの擬似タスクを2つの態様で、38.3ポイント、現実世界の6つの擬似的タスクで上回っている。 一致した比較では、再構成された幾何による事前トレーニングは、手の動きだけでの事前トレーニングよりも14.2ポイント向上する。

関連論文リスト

• RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning [63.13832695270861]
  本稿では,ビデオファウンデーションモデルに基づく手追跡モデルを提案する。 モノクラー・エゴセントリックなビデオから手ポーズとリアルな触覚情報を推定する。 ポーズ推定のために、さまざまなベンチマークデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-10-07T05:11:50Z)
• PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation [74.3053660194713]
  ポイントワールドアクションモデル(PointWAM)は,世界をシーン(環境)と手(俳優)に分解する3次元世界アクションモデルである。 PointWAMは、シーンと手が時間とともに3D空間でどのように進化するかを予測する。 色付きの点雲と言語命令を与えられたPointWAMは、シーンと手が時間とともに3D空間でどのように進化するかを予測し、予測ハンドモーションをロボットのアクションに再ターゲットする。
  論文  参考訳（メタデータ） (2026-10-02T05:31:01Z)
• GeoLAM: Learning Geometry-Grounded Latent Actions from Unlabeled Human Videos [8.414561051327915]
  そこで,GeoLAMについて紹介する。GeoLAMは,アクションフリーな人間のビデオから幾何学的特徴を学習するためのフレームワークである。 GeoLAMは、凍結した幾何学的特徴階層による将来のフレーム再構築と、トレーニング専用の4D幾何学教師の運動監督を組み合わせる。
  論文  参考訳（メタデータ） (2026-09-15T12:31:34Z)
• GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
  GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。 GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。 我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。 GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
  論文  参考訳（メタデータ） (2026-06-03T17:57:45Z)
• GraphiContact: Pose-aware Human-Scene Robust Contact Perception for Interactive Systems [17.089112324421468]
  本研究では,2つの事前訓練されたトランスフォーマーエンコーダから人間の先行情報を転送し,再構成メッシュ上での頂点ごとの人間とシーンの接触を予測する。 5つのベンチマークデータセットの実験により、GraphiContactは、接触予測と3D人間の再構築の両方で一貫した利得を達成している。 GraphiContact法をベースとしたコードでは,人間の3次元再構成とインタラクション解析を包括的に行う。
  論文  参考訳（メタデータ） (2026-03-19T17:17:04Z)
• Action-Geometry Prediction with 3D Geometric Prior for Bimanual Manipulation [53.09168514034483]
  バイマン操作は3次元幾何学を推論し、動作中にどのように進化するかを予測し、滑らかで協調された動きを生成するポリシーを必要とする。 本稿では,事前学習した3次元幾何学的基礎モデルに基づいて,バイマン操作を直接構築するフレームワークを提案する。 我々の政策は、幾何学的認識の潜伏子、2次元意味的特徴、およびプロプレセプションを統一状態表現に融合させ、拡散モデルを用いて将来のアクションチャンクと、密度の高いポイントマップにデコードする未来の3次元潜伏子を共同で予測する。
  論文  参考訳（メタデータ） (2026-02-27T08:54:20Z)
• Dexterous Manipulation Policies from RGB Human Videos via 3D Hand-Object Trajectory Reconstruction [24.49384094440561]
  我々は,RGBのヒューマンビデオから直接デクスタラスな操作を学習する,デバイスフリーのフレームワークであるVIDEOMANIPを提案する。 シミュレーションでは、学習した把握モデルはインスパイアハンドを用いて20種類のオブジェクトに対して70.25%の成功率を達成する。 実世界では、RGBビデオから訓練された操作ポリシーは、LEAPハンドを使用して7つのタスクで平均62.86%の成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-09T18:56:02Z)
• CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives [65.89192712575797]
  本研究では,モノクロ映像から再現可能な人物の動きとシーン形状を復元するCRISPを紹介する。 我々の手法は、人中心のビデオベンチマークにおいて、モーショントラッキングの失敗率を55.2%から6.9%に下げる。 このことは、CRISPが物理的に有意な人間の動きと対話環境を大規模に生成する能力を示している。
  論文  参考訳（メタデータ） (2025-12-16T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。