論文の概要: OmniHOI: Dexterous Hand-Object Interaction from Monocular Human Video

• arxiv url: http://arxiv.org/abs/2610.10855v2
• Date: Wed, 14 Oct 2026 08:46:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:14.992268
• Title: OmniHOI: Dexterous Hand-Object Interaction from Monocular Human Video
• Title（参考訳）: OmniHOI: モノクロビデオからのデクサスハンドオブジェクトインタラクション
• Abstract要約: OmniHOIは、手と物体の相互作用をRGBビデオに変換するパイプラインである。 6～22 DoFの5手それぞれに150回以上の移動軌跡を移動し,39～89%の成功を収めた。 60本のモノクロビデオクリップで53%の成功を達成しました。
• 参考スコア（独自算出の注目度）: 22.269555840799196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monocular videos of human manipulation provide abundant dexterous demonstrations, yet reconstructing hand-object interaction from a single view and transferring it to robot hands remain difficult, limiting their direct use for robot execution. Prior methods either require task-specific RL training, limiting scalability, or assume clean motion-capture trajectories and thus cannot operate directly on video. We present OmniHOI, a pipeline that turns an RGB video of hand-object interaction into an interaction-faithful trajectory on dexterous hands. The key idea is to enforce physical consistency using the evidence available at each stage: image evidence during reconstruction, contact geometry during retargeting, and dynamics during physics-in-the-loop refinement. Each stage optimizes the corresponding representation directly, correcting errors before they propagate downstream or must be absorbed by a learned policy. Across 150 motion-capture trajectories transferred to each of five dexterous hands with 6 to 22 DoF, we achieve 39-89% success, compared with at most 31% for prior transfer methods. On 60 monocular video clips, we achieve 53% success, compared with 28% for the best prior video-to-robot pipeline. Its trajectories also execute on a real bimanual robot across diverse tasks.
• Abstract（参考訳）: 人間の操作の単眼的なビデオは、多くのデキスタスなデモを提供するが、単一の視点から手と物体のインタラクションを再構築し、ロボットの手に移すことは困難であり、ロボットの直接の使用を制限している。 従来の手法では、タスク固有のRLトレーニング、スケーラビリティの制限、あるいはクリーンなモーションキャプチャ・トラジェクトリを前提としており、ビデオ上で直接操作することはできない。 OmniHOIは、手と物体の相互作用をRGBビデオに変換するパイプラインである。 鍵となる考え方は、各段階で利用可能な証拠を用いて物理的な一貫性を強制することである。 各ステージは対応する表現を直接最適化し、下流に伝播する前にエラーを訂正する。 6～22 DoFの5手それぞれに150回以上の移動軌跡を移動させ,39～89%の成功を達成し, 先行移動法では31%以上であった。 60本のモノクロビデオクリップで53%の成功を達成しました。 その軌道は、さまざまなタスクにまたがる実際のバイマニュアルロボットでも実行される。

関連論文リスト

• Being-M0.7: A Latent World-Action Model for Humanoid Robots [52.49928557294444]
  我々は,人間のデータから学習した視覚的動きを,事前学習,ロボットのミッドトレーニング,アクションポストトレーニングを通じてヒューマノイド制御に伝達する潜在世界行動モデルであるBeing-M0.7を提案する。 我々は、1万時間以上の生の人中心データからコーパスをキュレートし、ビデオのみ、モーションのみ、およびペア化されたビデオモーションストリームを統合して、補完的な視覚力学と全身の運動構造を学習する。 Be-M0.7はSIMPLEで比較したベースラインの中で最高成功率に達し、現実世界のUnitree G1ロコ操作タスクで最強のベースラインと一致する。
  論文  参考訳（メタデータ） (2026-10-08T05:49:24Z)
• Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
  ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
  論文  参考訳（メタデータ） (2026-10-05T11:08:50Z)
• DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations [39.780100610094884]
  DexRoamは、人間のデモンストレーションからモバイルバイマン的なデキスタラスな操作を学習するためのシステムである。 コンシューマーVRヘッドセットとヘッドマウントステレオカメラのみで、外部カメラやモーショントラッカーを使わずに、トラッカーレスキャプチャシステムを開発した。 次に,ロボットの動作空間に撮影動作をマッピングする,3つの明示的なアライメントステージを実行する。
  論文  参考訳（メタデータ） (2026-09-28T17:59:10Z)
• HuRo: Robotizing Human Videos for Scalable VLA Pretraining [21.648183246162237]
  異種映像をロボット対応の観察・行動軌跡に変換するロボット化パイプラインを開発した。 我々は5つのビデオソースから約630Kのロボット化されたエピソードと1億4200万のフレームからなるHuRoデータセットを構築した。
  論文  参考訳（メタデータ） (2026-09-09T18:02:05Z)
• Towards Human-level Dexterous Teleoperation [62.77371751776912]
  人レベルのデキスタラス遠隔操作は、動的手動物体接触による物体の動きを正確に制御する必要がある。 我々は,操作者の意図を学習された低レベルのコンタクト実行にマッピングするハンドオブジェクト・コトラッキング・コントローラであるTeleDexterを紹介した。 我々はTeleDexterを、物体の向きを変える7つの難易度遠隔操作タスクと、両手にわたる長距離ツールを用いて評価した。
  論文  参考訳（メタデータ） (2026-07-13T12:36:47Z)
• Contrastive Action-Image Pre-training for Visuomotor Control [91.5630572541332]
  エンドエフェクタアクションのプロキシとして,大規模なエゴセントリックビデオからの人間の手ポーズを取り扱う視覚エンコーダであるCAIPを紹介する。 人間のビデオは32,041時間、ロボット操作のデータは88時間しかなく、CAIPは最先端の視覚エンコーダより優れています。
  論文  参考訳（メタデータ） (2026-06-15T20:00:20Z)
• What Matters When Cotraining Robot Manipulation Policies on Everyday Human Videos? [51.606902362959495]
  私たちは、28時間の高品質な三角測量された手ラベルと自然な動きを備えた532人のビデオのデータセットを使用します。 手のポーズの質は移動に影響を与えるが、正確な手であっても、視覚と政策ネットワークがそれぞれの実施に特化しない限り、固有の動きギャップは移動を妨げる。
  論文  参考訳（メタデータ） (2026-06-04T18:24:23Z)
• Dexterous Manipulation Policies from RGB Human Videos via 3D Hand-Object Trajectory Reconstruction [24.49384094440561]
  我々は,RGBのヒューマンビデオから直接デクスタラスな操作を学習する,デバイスフリーのフレームワークであるVIDEOMANIPを提案する。 シミュレーションでは、学習した把握モデルはインスパイアハンドを用いて20種類のオブジェクトに対して70.25%の成功率を達成する。 実世界では、RGBビデオから訓練された操作ポリシーは、LEAPハンドを使用して7つのタスクで平均62.86%の成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-09T18:56:02Z)
• Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
  本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。 まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。 この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。 両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
  論文  参考訳（メタデータ） (2024-09-26T17:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。