論文の概要: EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos

• arxiv url: http://arxiv.org/abs/2610.20904v1
• Date: Wed, 14 Oct 2026 20:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.064756
• Title: EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos
• Title（参考訳）: EgoJEPA:エゴ中心のビデオからデキステラスな操作を狙う
• Abstract要約: EgoJEPAは、エゴ中心の人間ビデオからエンボディメントに依存しない表現を学ぶ。 743.2時間から392.7時間にかけて、クロス・エボディメントの壁時計のコストを47.2%削減する。
• 参考スコア（独自算出の注目度）: 54.3385405724896
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Egocentric human videos offer a scalable alternative to costly robot demonstra- tions, yet transferring their manipulation priors to robot control remains chal- lenging. The commonly adopted retargeting-based approaches convert human wrist and finger poses into embodiment-specific action commands through hand- crafted geometric mappings. However, such mappings require meticulous recal- ibration across different embodiments and risk propagating hand-tracking errors into downstream robot control pipelines. To this end, we propose EgoJEPA, a three-stage framework that learns embodiment-agnostic representations from ego- centric human videos without rule-based human-to-robot retargeting: 1) Human- action pre-training learns effect-aware latent actions through JEPA-style visual prediction conditioned on hand-motion differences; 2) Latent-action-based world modeling jointly predicts future visual dynamics and latent actions, which decou- ples human prior pre-training from robot-specific control parameterizations; 3) Embodiment-specific tuning adapts the pretrained model to diverse robots through lightweight action adapters. Experiments on five real-world manipulation tasks across three robot embodiments demonstrate the effectiveness and efficiency of EgoJEPA. It achieves a 74% average success rate under the out-of-domain evalu- ation, compared with 65% for the retargeting baseline, while reducing cumulative cross-embodiment wall-clock cost by 47.2%, from 743.2 to 392.7 hours.
• Abstract（参考訳）: エゴセントリックな人間のビデオは、高価なロボットのデーモンストラオプションに代わるスケーラブルな代替手段を提供する。 一般的に採用されているリターゲティングベースのアプローチは、人手首と指のポーズを手作りの幾何学的マッピングを通じて、エンボディメント固有のアクションコマンドに変換する。 しかし、このようなマッピングでは、異なる実施形態にまたがる微妙な再石灰化が必要であり、下流のロボット制御パイプラインに手追跡エラーを伝播するリスクがある。 そこで本研究では,エゴ中心の人間ビデオから,ルールベースの人間ロボット再ターゲットを使わずに,エゴ中心の人間ビデオから具現化に依存しない表現を学習する3段階のフレームワークであるEgoJEPAを提案する。 1)人的行動事前学習は,手動作の違いを条件としたJEPAスタイルの視覚的予測を通じて,効果を意識した潜伏行動を学ぶ。 2)潜時行動に基づく世界モデリングは、ロボット固有の制御パラメーター化から事前学習を減らし、将来の視覚力学と潜時行動を共同で予測する。 3) 身体特異的なチューニングは,軽量なアクションアダプターを用いて,事前訓練されたモデルを多様なロボットに適応させる。 EgoJEPAの有効性と有効性を示すために,3つのロボットエボディメントにまたがる5つの実世界の操作タスクの実験を行った。 ドメイン外評価では平均74%の成功率を実現し、リターゲティングベースラインでは65%、累積クロスボディウォールクロックでは47.2%のコストを743.2から392.7時間に削減した。

関連論文リスト

• AutodidactWAM: Cross-Modal Self-Distillation from Generated Video to Robot Actions [2.2935396753701065]
  世界行動モデル(WAM)は、観察と指示から将来のビデオとロボットのアクションを共同で生成する。 クローズドループ実ロボット試験を3段階の累積段階(プレグラス,グリップ,ピック・アンド・プレイス)で評価した。 本稿では,遠隔操作を伴わない手動推定器AutodidactWAMを提案する。
  論文  参考訳（メタデータ） (2026-10-06T10:39:42Z)
• WB-WAM: Heterogeneous Body-Hand Pre-training for Humanoid Loco-Manipulation [30.730467262133544]
  本稿では,WB-WAMについて述べる。WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAMの3つを紹介する。 共有された物理アクション空間は、異種ソースからの体、根、および異種手アノテーションを統合し、共同ビデオとアクション学習を可能にする。 我々はHumanoidArenaで81.9%の強い全身タスク性能を示し、実際の実験では5つのタスクで84.0%の成功率でWB-WAMを検証する。
  論文  参考訳（メタデータ） (2026-09-28T03:11:19Z)
• AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
  汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。 アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。 本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
  論文  参考訳（メタデータ） (2026-09-16T14:07:06Z)
• H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models [56.60098789696351]
  H2R-Benchは、人間とロボットの相互操作ビデオ生成を評価するためのベンチマークである。 各ベンチマークインスタンスには、人間のデモビデオ、ターゲットの実施制約、ソース地上アノテーションが含まれている。 我々は、6つの操作ファミリーと2つのロボットエボディメントで11の最先端のビデオ生成モデルをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-13T10:14:33Z)
• Robot Self-Improvement via Human-Video Dynamics Models [52.14862052988773]
  人間のビデオは、ロボットのエンボディメント間で伝達されるエンボディメントに依存しない動作、ダイナミクス、および値表現を学ぶのに利用できることを示す。 DGAC(Dynamics-Guided Action Correction)は,これらの適応モデルを用いて故障状態の修復を行うトレーニングフリーアプローチである。 以上の結果から,人間の先行とロボットの失敗が組み合わさって,スケーラブルな自律的政策改善を可能にすることが示唆された。
  論文  参考訳（メタデータ） (2026-06-19T13:17:27Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。