論文の概要: EgoWAM: World Action Models Beyond Pixels with In-the-Wild Egocentric Human Data

• arxiv url: http://arxiv.org/abs/2607.08436v1
• Date: Wed, 08 Jul 2026 16:11:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.541266
• Title: EgoWAM: World Action Models Beyond Pixels with In-the-Wild Egocentric Human Data
• Title（参考訳）: EgoWAM: Egocentric Human Dataを用いたピクセルを超えた世界アクションモデル
• Abstract要約: EgoWAMはコントロールされた人間ロボットのコトレーニングフレームワークである。 ポリシーのバックボーン、アクションヘッド、データミキシングを修正し、世界予測ターゲットだけを変更します。 行動クローニングよりも、先進的な人間中心のデータでより効果的にスケールする。
• 参考スコア（独自算出の注目度）: 23.843545167506818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Egocentric human data offers scalable supervision for robot manipulation. However, behavior cloning entangles transferable content like objects, scenes, and task semantics, with non-transferable factors like human morphology, head motion, and behavioral style. We study whether World Action Models (WAMs) provide a better training signal by requiring policies to predict not only actions, but also how the scene evolves. The central question is what world representation best enables human-to-robot transfer. We hypothesize that an effective world target should abstract appearance, capture agent-invariant physical effects, and separate camera motion from environment change. We introduce EgoWAM, a controlled human-robot co-training framework that fixes the policy backbone, action head, and data mixture while varying only the world prediction target, comparing Pixel, DINO, and 3D motion flow. Across three real-world bimanual tasks, WAM co-training scales more effectively with in-the-wild egocentric human data than behavior cloning. Pixel-based prediction transfers weakly, while DINO and 3D flow yield substantial gains: DINO improves out-of-distribution object and scene generalization by up to 4x, and 3D flow improves in-domain performance by 20-30%. More details: https://gatech-rl2.github.io/egowam.github.io
• Abstract（参考訳）: エゴセントリックな人間データは、ロボット操作のためのスケーラブルな監視を提供する。 しかし、行動クローニングの絡み合いは、人間の形態、頭部の動き、行動スタイルのような非伝達可能な要素を持つ、オブジェクト、シーン、タスクセマンティクスのような伝達可能なコンテンツである。 我々は,ワールドアクションモデル(WAM)が,アクションだけでなく,シーンの進化を予測するためのポリシーを必要とすることにより,よりよいトレーニング信号を提供するかどうかを検討する。 中心的な疑問は、世界表現が人間とロボットの移動を最大限に可能にしているかである。 我々は、有効な世界目標が外見を抽象化し、エージェント不変の物理的効果を捉え、環境変化からカメラの動きを分離すべきだと仮定する。 EgoWAMは,ポリシバックボーン,アクションヘッド,データミックスを,Pixel,DINO,および3Dモーションフローを比較しながら,世界予測対象のみを変化させる,制御されたロボット協調学習フレームワークである。 3つの実世界のバイマン的タスクの中で、WAMのコトレーニングは、行動クローニングよりも、先進的な人間中心のデータとより効果的にスケールする。 DINOは分布外オブジェクトとシーンの一般化を最大4倍改善し、3Dフローはドメイン内のパフォーマンスを20～30%改善する。 詳細:https://gatech-rl2.github.io/egowam.github.io

関連論文リスト

• JoyAI-RA 0.5: Scaling Robot Manipulation Learning via Dual Action Alignment [0.0]
  本研究では,物理世界力学と視覚的意味論を結びつけるフレームワークであるJoyAI-RA 0.5を提案する。 インシシットアクションアライメントは、視覚的な遷移から潜在アクションを推論し、アクションフリーな人間、シミュレーション、ロボットデータを可能にする。 JoyAI-RAは、実際のAgiBotベンチマークで見られるタスクと見えないバリエーションの両方に強く依存する。
  論文  参考訳（メタデータ） (2026-08-06T07:14:55Z)
• Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data [60.94418315274988]
  Ego2Robotは、キュレートされたビデオとインザワイルドのビデオの両方をサポートし、15のロボット形態にまたがる18,561時間のトレーニングデータを生成する。 Ego2Robotの合成データとロボットデータの併用による事前学習は、複数のタイプにわたるアウト・オブ・ディストリビューションの一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-03T17:52:26Z)
• Contrastive Action-Image Pre-training for Visuomotor Control [91.5630572541332]
  エンドエフェクタアクションのプロキシとして,大規模なエゴセントリックビデオからの人間の手ポーズを取り扱う視覚エンコーダであるCAIPを紹介する。 人間のビデオは32,041時間、ロボット操作のデータは88時間しかなく、CAIPは最先端の視覚エンコーダより優れています。
  論文  参考訳（メタデータ） (2026-06-15T20:00:20Z)
• EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents [85.77432303199176]
  EmbodMocapは2つの動くiPhoneを使ったポータブルで安価なデータ収集パイプラインである。 私たちのキーとなるアイデアは、二重RGB-Dシーケンスを共同で校正し、人間とシーンの両方を再構築することです。 収集したデータに基づいて、我々は3つの具体的AIタスクを強化した: モノクラーヒューマン・シーン・リコンストラクション(モノクラーヒューマン・シーン・リコンストラクション)、メトリックスケールで世界空間に整合した人間とシーンを出力するフィードフォワードモデル、物理ベースのキャラクターアニメーション。
  論文  参考訳（メタデータ） (2026-02-26T16:53:41Z)
• EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data [114.89243396877453]
  EgoScaleは、大規模な自我中心の人間データ上に構築された人から器用な操作伝達フレームワークである。 簡単な2段階のトランスファーレシピを導入し, 大規模人体事前訓練と, ライトウェイトアライメントされた人間ロボットのトレーニングを行った。 最終方針は、22個のDoFデキスタラスロボットハンドを使用して、トレーニング済みのベースラインに対して平均成功率を54%向上させる。
  論文  参考訳（メタデータ） (2026-02-18T18:59:05Z)
• EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
  EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。 スケーラブルな人的データ収集のためのポータブルシステムを開発した。
  論文  参考訳（メタデータ） (2026-02-10T18:59:03Z)
• ResMimic: From General Motion Tracking to Humanoid Whole-body Loco-Manipulation via Residual Learning [59.64325421657381]
  ヒューマノイド全体のロコ操作は、日々のサービスや倉庫のタスクにトランスフォーメーション機能を約束する。 ResMimicは、人間の動作データから正確に表現力のあるヒューマノイド制御のための2段階の残差学習フレームワークである。 結果は、強いベースラインよりもタスク成功、トレーニング効率、堅牢性が大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-10-06T17:47:02Z)
• EgoBridge: Domain Adaptation for Generalizable Imitation from Egocentric Human Data [18.635934496561365]
  EgoBridgeは、ポリシーの潜在空間を、ドメイン適応を使って人間とロボットのデータに合わせることを目指している。 人体横断ベースラインよりも44%の大幅な絶対的な政策成功率向上を実現している。
  論文  参考訳（メタデータ） (2025-09-23T22:34:47Z)
• Humanoid Policy ~ Human Policy [41.34186233320398]
  人間行動変換器(HAT)と呼ばれる人-人-人-行動政策を訓練する。 HATのステートアクション空間は、人間とヒューマノイドロボットの両方に統一されており、ロボットのアクションに微分的に再ターゲットすることができる。 人間のデータは,HATの一般化と堅牢性の両方を改善し,データ収集効率を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-03-17T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。