論文の概要: EgoX: Egocentric Cross-Embodiment Manipulation with Embodiment Dreaming
- arxiv url: http://arxiv.org/abs/2611.16728v1
- Date: Thu, 12 Nov 2026 12:40:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.470454
- Title: EgoX: Egocentric Cross-Embodiment Manipulation with Embodiment Dreaming
- Title(参考訳): EgoX: Egocentric Cross-Embodiment Manipulation with Embodiment Dreaming
- Abstract要約: EgoXは意味的に対応する観察と行動のモダリティを通じて異質なデモンストレーションを組織する。
トレーニングのみの実施目的は、将来の視覚的および受容的状態の潜在的な表現を予測する。
5つのタスクと6つのロボットエボディメントにまたがる13のタスク・エボディメント・ペアの中で、クロス・エボディメント・プレトレーニングはMXT+の平均正規化タスクの進歩を0.63から0.80に引き上げる。
- 参考スコア(独自算出の注目度): 42.03233816160627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalist manipulation policies can benefit from the complementary experience of humans, real robots, and simulated agents. However, differences in morphology, sensing, and control interfaces make it difficult to learn effectively from their combined demonstrations. We introduce EgoX, an egocentric cross-embodiment learning framework that organizes heterogeneous demonstrations through semantically corresponding observation and action modalities. EgoX pretrains a Modularized Cross-Embodiment Transformer with Embodiment Dreaming (MXT+) on this mixture and fine-tunes it on target-embodiment demonstrations. Within each embodiment, MXT+ assigns a dedicated tokenizer to each observation modality and a dedicated expert to each action modality, with a Transformer trunk shared across embodiments. A training-only embodiment-dreaming objective predicts latent representations of future visual and proprioceptive states, encouraging the shared trunk to model each embodiment's dynamics. Across 13 task-embodiment pairs spanning five tasks and six robot embodiments, including five physical robots and one simulated humanoid, cross-embodiment pretraining raises MXT+'s average normalized task progress from 0.63 to 0.80 over training from scratch. The gains are particularly pronounced under out-of-distribution conditions, where average task progress increases from 0.53 to 0.77. Ablations demonstrate the benefits of broader pretraining mixtures, modular interfaces, and embodiment dreaming, with dreaming producing more similar latent geometry across embodiments. Project page: egox-dream.github.io.
- Abstract(参考訳): 一般的な操作ポリシーは、人間、本物のロボット、シミュレートされたエージェントの相補的な経験から恩恵を受けることができる。
しかし, 形態学, センシング, 制御インタフェースの違いは, 複合実験から効果的に学習することが困難である。
我々は,エゴセントリックなクロスボデーメント学習フレームワークであるEgoXを紹介した。
EgoXは、この混合物にエボディメント・ドリーミング(MXT+)を付加したモジュール化されたクロス・エボディメント・トランスフォーマーを事前訓練し、ターゲット・エボディメント・デモで微調整する。
各実施形態内では、MXT+は各観察モードに専用のトークンライザを割り当て、各アクションモードに専用の専門家を割り当て、各実施形態にトランスフォーマートランクを共有させる。
トレーニングのみのエンボディメント・ドレーミングの目的は、将来の視覚的および受容的状態の潜在的な表現を予測し、共有トランクにそれぞれのエンボディメントのダイナミクスをモデル化するよう促す。
5つのタスクと6つのロボットエボディメントにまたがる13のタスク・エボディメント・ペアのうち、5つの物理ロボットと1つのシミュレーションされたヒューマノイドを含む、クロス・エボディメント・プレトレーニングはMXT+の平均正規化タスクを0.63から0.80に引き上げる。
特にアウト・オブ・ディストリビューション条件では、平均タスクの進捗が0.53から0.77に増加する。
アブレーションは、より広い事前学習混合物、モジュラーインターフェース、そして具現化ドリームの利点を示しており、夢見はより類似したエンボディメントをまたいだ潜在幾何学を生み出している。
プロジェクトページ: egox-dream.github.io
関連論文リスト
- Cross-Embodiment Motion Planning by Coupling Body-Agnostic World Model with Differentiable Ego-Dynamics [52.88405076406971]
クラッタ内の運動プランニングは、エンボディメント固有のものである。
この手紙は、このインターフェースでのクロス・エボディメント・モーション・プランニングを分解する、時計形のアーキテクチャであるHourglassを提案する。
論文 参考訳(メタデータ) (2026-10-30T06:45:17Z) - DexJoCo-X: Benchmarking Action Representations for Multi-Hand Dexterous Manipulation [33.03049906677002]
クロス・エボディメント・ラーニングは、形態学固有の制御を維持しながら共有操作構造をキャプチャする統一表現を必要とする。
DexJoCo-Xは7つの代表的手間で比較を行うためのベンチマークとツールキットである。
対照的に、Being-H0.5は、クロス・エボディメント・プレトレーニング、統一されたアクション・スペース、そしてエボディメント・アウェアの専門家を組み合わせることで、一つの政策が7つの手全てを制御することができる。
論文 参考訳(メタデータ) (2026-10-02T13:21:13Z) - X-WBC: A Cross-Embodiment Foundation Model for Humanoid Whole-Body Control [9.11598874129235]
ヒューマノイド全体のコントロールをスケールするには、大きな人間の運動コーパスと、ロボット本体間で共有されるトレーニング経験が必要である。
X-WBCは、比較的共有された人間の動作意味論とエンボディメント固有の身体的実行を分離する、クロスボデーメント基盤フレームワークである。
論文 参考訳(メタデータ) (2026-09-14T08:34:48Z) - AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。
私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。
大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
論文 参考訳(メタデータ) (2026-08-29T12:55:15Z) - HEX: Humanoid-Aligned Experts for Cross-Embodiment Whole-Body Manipulation [74.34984994596813]
HEXは、ヒューマノイドロボットの協調操作のための状態中心のフレームワークである。
ヘテロジニアスな実施形態をまたいだスケーラブルな学習のための、ヒューマノイドに整合した普遍的状態表現が組み込まれている。
タスクの成功率と一般化における最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-04-09T09:01:43Z) - Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization [38.20385682344082]
本稿では,多様なロボットプラットフォームにまたがる堅牢なクロスエボディメント一般化を目的とした,基礎的なビジョン・ランゲージ・アクションモデルであるBeing-H0.5を紹介する。
今回紹介するUniHand-2.0は、これまでで最大で、3万5000時間以上のマルチモーダルデータを、30の異なるロボットエボディメントに展開する。
Be-H0.5 は LIBERO (98.9%) や RoboCasa (53.9%) のようなシミュレートされたベンチマークで最先端の結果を得る
論文 参考訳(メタデータ) (2026-01-19T12:20:38Z) - MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。
MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
論文 参考訳(メタデータ) (2025-12-17T12:59:41Z) - Towards Embodiment Scaling Laws in Robot Locomotion [33.13851164282621]
クロス・エボディメントの一般化は、あらゆるロボットに汎用的なエンボディエージェントを構築するというビジョンを支えている。
本研究では, トレーニング実施数の増大により, 目に見えないものへの一般化が促進されるという仮説を考察する。
我々は, 位相的, 幾何学的, 関節的変動を伴う1,000のエボディメントを手続き的に生成し, ランダムな部分集合に関する政策を訓練する。
論文 参考訳(メタデータ) (2025-05-09T03:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。