論文の概要: EgoMatrix: Physically Faithful Dexterous Robot Demonstrations from Egocentric Human Videos

• arxiv url: http://arxiv.org/abs/2610.18822v1
• Date: Tue, 13 Oct 2026 17:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:49:32.943835
• Title: EgoMatrix: Physically Faithful Dexterous Robot Demonstrations from Egocentric Human Videos
• Title（参考訳）: エゴマトリクス:エゴ中心の人間ビデオから物理に忠実なデキステラスロボットのデモ
• Abstract要約: EgoMatrix(エゴマトリックス)は、モノクルな人間中心の動画をペア化されたロボット観察ビデオに変換するエンドツーエンドのデータエンジンである。 正確なメカニカル・シーン・リカバリではなく、相対幾何学と接触を重視してHOIを再構築する。 物理的に忠実な観察を状態と制御記録と同期させる。
• 参考スコア（独自算出の注目度）: 13.706010280492022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric human videos offer a scalable alternative to robot teleoperation for collecting dexterous manipulation data. However, two challenges limit their use as reliable training data: accurate hand-object interaction (HOI) reconstruction from monocular RGB and high-quality robot demonstrations, especially visual observations. We present EgoMatrix, an end-to-end data engine that converts monocular egocentric human videos into bimanual dexterous trajectories and paired robot observation videos, with the trajectories directly replayable on real robots. It reconstructs HOI with emphasis on relative geometry and contact rather than exact metric scene recovery, then uses retargeting and reinforcement learning (RL) to reproduce the demonstrated tasks in simulation. We jointly render robot hands and objects from these simulated trajectories to produce physically faithful observations synchronized with state and control records. Rendering the same trajectories in diverse, task-compatible backgrounds expands paired training data while preserving robot-object motion and contact. Across TACO, OakInk2, and self-collected data, EgoMatrix achieves 54.84% end-to-end success in simulation versus 14.52% for the strongest baseline. Reconstruction reaches state-of-the-art performance on most metrics of the two public benchmarks. Qualitative results show more faithful hand-object interactions than prior methods, while feature-space analysis shows closer alignment with real-robot observations than GPT-6 Astra.Our project page is available at https://spikew726.github.io/EgoMatrix/.
• Abstract（参考訳）: エゴセントリックな人間のビデオは、巧妙な操作データを収集するロボット遠隔操作に代わるスケーラブルな代替手段を提供する。 しかし、2つの課題は信頼性のあるトレーニングデータとしての使用を制限する: 正確な手オブジェクトインタラクション(HOI)をモノクラーRGBから再構築し、高品質なロボットデモ、特に視覚的な観察を行う。 EgoMatrixは、モノクラー・エゴセントリックな人間の動画を、実ロボットで直接再生可能な、双方向のデジタラスな軌跡とペア化されたロボット観察ビデオに変換する、エンドツーエンドのデータエンジンである。 HoIは、正確なメートル法的なシーン回復ではなく、相対幾何学と接触を重視して再構築し、リターゲティングと強化学習(RL)を用いてシミュレーションで示されたタスクを再現する。 シミュレーションされた軌道からロボットの手と物体を共同でレンダリングし、状態と制御記録と同期した物理的に忠実な観察結果を生成する。 同じ軌道を多様なタスク互換のバックグラウンドでレンダリングすることで、ロボットオブジェクトの動きと接触を保存しながら、ペア化されたトレーニングデータを拡張する。 TACO、OakInk2、および自己収集データ全体で、EgoMatrixは54.84%のエンド・ツー・エンドで成功し、最強のベースラインでは14.52%である。 レコンストラクションは、2つの公開ベンチマークのほとんどのメトリクスで最先端のパフォーマンスに達する。 定性的な結果は、以前の方法よりも忠実な手オブジェクトの相互作用を示し、特徴空間解析は、GPT-6 Astra.Ourプロジェクトページがhttps://spikew726.github.io/EgoMatrix/で利用可能である。

関連論文リスト

• Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
  ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
  論文  参考訳（メタデータ） (2026-10-05T11:08:50Z)
• Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data [60.94418315274988]
  Ego2Robotは、キュレートされたビデオとインザワイルドのビデオの両方をサポートし、15のロボット形態にまたがる18,561時間のトレーニングデータを生成する。 Ego2Robotの合成データとロボットデータの併用による事前学習は、複数のタイプにわたるアウト・オブ・ディストリビューションの一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-03T17:52:26Z)
• EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning [10.780924973366737]
  EgoInfinityは、ロボットの獲得と学習のためのWebスケールデータ生成を可能にする、汎用的な4Dハンドオブジェクトインタラクションデータエンジンである。 EgoInfinity(エゴインフィニティ)は、知覚、セグメンテーション、再構築、相互認識の洗練、そして従来の計算不可能なビデオ対アクション問題を自動化するための、モジュール式エンジンである。
  論文  参考訳（メタデータ） (2026-06-16T00:44:16Z)
• DataLadder: A Simulation-Enabled Interconversion Toolchain for the Embodied Data Pyramid [63.45560198934907]
  ジェネラリストロボットポリシーは、信頼できる評価とロボット使用可能なトレーニングデータを必要とする。 本稿では,人間ロボットによるモデル評価とデータ生成のためのシミュレーション可能な変換ツールチェーンであるDataLadderを提案する。 JD Cloud上のクラウドサービスとして、コア再構築、シミュレーション、レンダリング、リアリズム拡張モジュールをパッケージ化します。
  論文  参考訳（メタデータ） (2026-06-15T14:21:35Z)
• OASIS: From Simulation Data Collection to Real-World Humanoid Loco-Manipulation [51.37436817948304]
  OASISはヒューマノイドのロコ操作のためのシミュレーションデータ駆動のフレームワークである。 3次元生成モデルを用いて実世界の画像から現実的なオブジェクト資産を再構築する。 ゼロショットデプロイメントでは、実際のロボット遠隔操作データでトレーニングされたタスクよりも、ほとんどのタスクで高い成功率を達成する。
  論文  参考訳（メタデータ） (2026-06-07T10:01:53Z)
• EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos [49.820119587446655]
  本稿では,エゴセントリックな人間ビデオを用いたVLA(Vision-Language-Action)モデルのトレーニングについて検討する。 人間の手首と手の動きを予測する人間のビデオに基づいて訓練されたVLAによって、私たちはInverse Kinematicsを実行し、人間のアクションをロボットアクションに変換することができる。 シミュレーションベンチマークであるEgo Humanoid Manipulation Benchmarkを提案する。
  論文  参考訳（メタデータ） (2025-07-16T17:27:44Z)
• Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets [24.77850617214567]
  本稿では,視覚的特徴と操作タスクの行動や受容といった動的情報の両方を抽出する基礎表現学習フレームワークを提案する。 具体的には、DROIDロボットデータセット上で視覚エンコーダを事前訓練し、ロボットの受容状態や動作などの動作関連データを活用する。 本研究では,視覚的観察をロボットの主観的状態-動作ダイナミクスと整合させる新しいコントラスト的損失と,事前トレーニング中の行動を予測する行動クローニング(BC)のようなアクター損失と,時間的コントラスト的損失を導入する。
  論文  参考訳（メタデータ） (2024-10-29T17:58:13Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。