論文の概要: EgoCPT: Learning Dexterous Manipulation from a Single Ego-Centric Video with Contact-Aware Optimization

• arxiv url: http://arxiv.org/abs/2610.17572v1
• Date: Tue, 13 Oct 2026 01:45:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:21:10.413876
• Title: EgoCPT: Learning Dexterous Manipulation from a Single Ego-Centric Video with Contact-Aware Optimization
• Title（参考訳）: EgoCPT: コンタクトアウェア最適化による単一Ego-Centric Videoからのデクサラスマニピュレーション学習
• Abstract要約: EgoCPTは,エゴ中心のビデオから直接,高品質なデキスタスハンドトラジェクトリを学習するための新しいパラダイムである。 提案手法は, ノイズの多いEgoDex手動再建では67.3%, モーションキャプチャハードウェアを用いて収集した高品質TACO再建では92.0%, 総合的な成功率は67.3%である。
• 参考スコア（独自算出の注目度）: 6.145602847527456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While expert demonstrations on real robots are difficult to collect, human ego-centric videos are easy to collect and abundant on the internet. However, learning dexterous manipulation policies from human videos remains challenging---one of the most important challenges being the difficulty of reconstructing physically grounded robot trajectories due to the large embodiment gap. In this paper, we propose EgoCPT, a novel paradigm for learning high-quality retargeted dexterous hand trajectories directly from an ego-centric video, which can then be deployed directly on real robots. The only inputs to our method are an ego-centric RGB video and a reference hand pose trajectory, which can be easily obtained through off-the-shelf software or specialized cameras during recording. Our method is particularly robust to noisy hand poses attributed to our novel contact-aware optimization framework, which iteratively optimizes the contact points between the robot hands and objects. Across five manipulation tasks, our method achieves overall success rates of 67.3% on noisy EgoDex hand-pose reconstructions and 92.0% on high-quality TACO reconstructions collected using motion-capture hardware, outperforming multiple baselines on both benchmarks.
• Abstract（参考訳）: 実際のロボットに関する専門家によるデモは収集が難しいが、人間のエゴ中心のビデオは簡単に収集でき、インターネット上でも豊富である。 しかし、人間のビデオから厳密な操作ポリシーを学ぶことは依然として困難であり、最も重要な課題の1つは、大きなエンボディメントギャップのため、物理的に接地されたロボット軌道の再構築が困難であることである。 本稿では,エゴ中心のビデオから直接,高品質な手動軌跡を学習するための新しいパラダイムであるEgoCPTを提案する。 本手法の入力はエゴ中心のRGBビデオとレファレンス・ポーズ・トラジェクトリのみであり、記録中のオフ・ザ・シェルフ・ソフトウェアや特殊なカメラで容易に得ることができる。 本手法は,ロボットの手と物体の接触点を反復的に最適化する,新しい接触認識最適化フレームワークに起因して,特に頑丈でノイズの多い手ポーズである。 5つの操作タスクで,ノイズの多いEgoDex手動再建では67.3%,モーションキャプチャハードウェアで収集した高品質TACO再構成では92.0%,両ベンチマークでは複数のベースラインを上回り,総合的な成功率を67.3%とした。

関連論文リスト

• EgoMatrix: Physically Faithful Dexterous Robot Demonstrations from Egocentric Human Videos [13.706010280492022]
  EgoMatrix(エゴマトリックス)は、モノクルな人間中心の動画をペア化されたロボット観察ビデオに変換するエンドツーエンドのデータエンジンである。 正確なメカニカル・シーン・リカバリではなく、相対幾何学と接触を重視してHOIを再構築する。 物理的に忠実な観察を状態と制御記録と同期させる。
  論文  参考訳（メタデータ） (2026-10-13T17:51:46Z)
• Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
  ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
  論文  参考訳（メタデータ） (2026-10-05T11:08:50Z)
• EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning [10.780924973366737]
  EgoInfinityは、ロボットの獲得と学習のためのWebスケールデータ生成を可能にする、汎用的な4Dハンドオブジェクトインタラクションデータエンジンである。 EgoInfinity(エゴインフィニティ)は、知覚、セグメンテーション、再構築、相互認識の洗練、そして従来の計算不可能なビデオ対アクション問題を自動化するための、モジュール式エンジンである。
  論文  参考訳（メタデータ） (2026-06-16T00:44:16Z)
• Dexterous Manipulation Policies from RGB Human Videos via 3D Hand-Object Trajectory Reconstruction [24.49384094440561]
  我々は,RGBのヒューマンビデオから直接デクスタラスな操作を学習する,デバイスフリーのフレームワークであるVIDEOMANIPを提案する。 シミュレーションでは、学習した把握モデルはインスパイアハンドを用いて20種類のオブジェクトに対して70.25%の成功率を達成する。 実世界では、RGBビデオから訓練された操作ポリシーは、LEAPハンドを使用して7つのタスクで平均62.86%の成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-09T18:56:02Z)
• H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
  本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。 私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。 テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
  論文  参考訳（メタデータ） (2025-12-10T07:59:45Z)
• EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos [49.820119587446655]
  本稿では,エゴセントリックな人間ビデオを用いたVLA(Vision-Language-Action)モデルのトレーニングについて検討する。 人間の手首と手の動きを予測する人間のビデオに基づいて訓練されたVLAによって、私たちはInverse Kinematicsを実行し、人間のアクションをロボットアクションに変換することができる。 シミュレーションベンチマークであるEgo Humanoid Manipulation Benchmarkを提案する。
  論文  参考訳（メタデータ） (2025-07-16T17:27:44Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。