論文の概要: EXE: Egocentric Cross-Embodiment Pretraining via Factorized Latent Actions for VLA Models

• arxiv url: http://arxiv.org/abs/2610.33685v1
• Date: Sat, 24 Oct 2026 14:08:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.420765
• Title: EXE: Egocentric Cross-Embodiment Pretraining via Factorized Latent Actions for VLA Models
• Title（参考訳）: EXE: VLAモデルに対する因子的潜在作用による自己中心型クロスエボディメントプレトレーニング
• Abstract要約: Egocentric Cross(X)-Embodiment Pretraining frameworkは、egocentric human videoから因果的潜在行動表現を学習する。 共有行動空間を活用することにより、ロボットポリシーは、人間固有の運動学に偏らされることなく、一般化可能な操作意味論を取得する。
• 参考スコア（独自算出の注目度）: 30.6042161125751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models are bottlenecked by the scarcity of robot data. Egocentric human manipulation videos offer an abundant, diverse, and semantically-rich alternative that inherently captures manipulation intent. However, the embodiment gap makes it difficult to extract action-relevant representations from these videos. From the perspective of action execution, human hands and robots share analogous manipulation primitives---reaching, grasping, placing---yet exhibit distinct kinematics tied to their embodiments. This might motivate our key approach: egocentric video pretraining can yield shared action representations capturing transferable manipulation skills, while human-specific motion patterns should be disentangled to avoid interfering with robot policy learning. To this end, we propose EXE, an Egocentric Cross(X)-Embodiment pretraining framework that learns a factorized latent action representation from egocentric human videos, separating shared manipulation priors from embodiment-specific signals. By leveraging the shared action space, the robot policy acquires generalizable manipulation semantics from diverse human demonstrations without being biased by human-specific kinematics. This shared knowledge transfers across embodiments with different kinematic structures, enabling the same pretraining to benefit both parallel grippers and dexterous hands. EXE yields consistent gains over baseline without pretraining on RoboTwin 2.0, RoboCasa GR1, and real-world manipulation tasks.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、ロボットデータの不足によってボトルネックとなる。 エゴセントリックな人間の操作ビデオは、操作意図を本質的に捉えた、豊富で多様で意味に富んだ代替手段を提供する。 しかし,これらの映像から行動関連表現を抽出することは困難である。 行動実行の観点からは、人間の手とロボットは類似した操作プリミティブ(リーチ、握り、配置)を共有します。 Egocentric Video Pretrainingは、移動可能な操作スキルをキャプチャする共有アクション表現を生成できる一方、人間固有の動きパターンは、ロボットポリシー学習との干渉を避けるために、切り離すべきである。 この目的のために,エゴセントリックなCross(X)-Embodiment事前学習フレームワークであるEXEを提案する。 共有行動空間を活用することで、ロボットポリシーは、人間固有の運動学に偏らされることなく、多様な人間のデモンストレーションから汎用的な操作意味を取得する。 この知識の共有は、異なる運動構造を持つ実施形態をまたいで伝達し、同じ事前訓練が平行グリッパーと器用な手の両方に利益をもたらす。 EXEは、RoboTwin 2.0、RoboCasa GR1、および実世界の操作タスクを事前訓練することなく、ベースラインよりも一貫した利得を得る。

関連論文リスト

• Being-M0.7: A Latent World-Action Model for Humanoid Robots [52.49928557294444]
  我々は,人間のデータから学習した視覚的動きを,事前学習,ロボットのミッドトレーニング,アクションポストトレーニングを通じてヒューマノイド制御に伝達する潜在世界行動モデルであるBeing-M0.7を提案する。 我々は、1万時間以上の生の人中心データからコーパスをキュレートし、ビデオのみ、モーションのみ、およびペア化されたビデオモーションストリームを統合して、補完的な視覚力学と全身の運動構造を学習する。 Be-M0.7はSIMPLEで比較したベースラインの中で最高成功率に達し、現実世界のUnitree G1ロコ操作タスクで最強のベースラインと一致する。
  論文  参考訳（メタデータ） (2026-10-08T05:49:24Z)
• AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
  汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。 アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。 本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
  論文  参考訳（メタデータ） (2026-09-16T14:07:06Z)
• LUCID: Learning Embodiment-Agnostic Intent Models from Unstructured Human Videos for Scalable Dexterous Robot Skill Acquisition [11.86733592383987]
  LUCIDは、構造化されていない人間のビデオからタスク意図を学ぶフレームワークである。 大規模な並列シミュレーションでロボットの制御を学習する。 実世界の5つの操作課題におけるLUCIDの評価を行った。
  論文  参考訳（メタデータ） (2026-06-10T03:49:01Z)
• HARP-VLA: Human-Robot Aligned Representation Learning for Vision-Language-Action Model [13.153130497047043]
  大規模な人間のビデオから一般化可能な視覚-言語-アクションモデルを学ぶことは有望だが、断熱的不一致のため難しい。 本稿では,人間のビデオからより効果的なVLA事前学習のための人間ロボット協調表現学習フレームワークであるHARPを提案する。 特徴可視化、シミュレーション、実世界の操作実験は、人間ロボットのアライメントと下流ポリシーのパフォーマンスを改善した。
  論文  参考訳（メタデータ） (2026-05-29T12:36:30Z)
• EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos [49.820119587446655]
  本稿では,エゴセントリックな人間ビデオを用いたVLA(Vision-Language-Action)モデルのトレーニングについて検討する。 人間の手首と手の動きを予測する人間のビデオに基づいて訓練されたVLAによって、私たちはInverse Kinematicsを実行し、人間のアクションをロボットアクションに変換することができる。 シミュレーションベンチマークであるEgo Humanoid Manipulation Benchmarkを提案する。
  論文  参考訳（メタデータ） (2025-07-16T17:27:44Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。