論文の概要: Ego-CEVR: Learning Cross-Embodiment Visual Representations from Human Egocentric Videos

• arxiv url: http://arxiv.org/abs/2610.37509v2
• Date: Wed, 28 Oct 2026 09:29:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-30 22:39:27.529987
• Title: Ego-CEVR: Learning Cross-Embodiment Visual Representations from Human Egocentric Videos
• Title（参考訳）: Ego-CEVR:人間中心の映像から異体間視覚表現を学習する
• Abstract要約: 本稿では,階層型視覚表現学習のためのデータネイティブフレームワークであるEgo-CEVRを紹介する。 グローバルモジュールは、エゴセントリックビデオの将来の予測を通じて、オブジェクト関係、タスク状態、時間経過を学習する。 インタラクションモジュールは、グローバルな文脈で手首の観察を解釈し、ロボットアクションの監視を通じて局所的なアライメントと接触の手がかりを学習する。
• 参考スコア（独自算出の注目度）: 48.98738311865188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As egocentric video becomes increasingly available for embodied learning, an important research question is how to turn this low-cost, scalable source of data into robot manipulation capabilities. Egocentric videos naturally provide rich context for high-level task understanding, while real-robot demonstrations with wrist observations and action annotations provide supervision for fine-grained action alignment. We present Ego-CEVR, a data-native framework for hierarchical visual representation learning that assigns distinct learning objectives to global and interaction representations. The global module learns object relations, task state, and temporal progress through future prediction on egocentric video. The Interaction module interprets wrist observations in global context and learns local alignment and contact cues through robot action supervision. Separate residual paths expose both representations to the action policy, preserving direct access to task context alongside fine-grained execution information. Ego-CEVR supports independent pretraining of its global video module on large-scale human egocentric videos and videos from diverse robot embodiments, without requiring robot action labels or paired wrist observations.
• Abstract（参考訳）: エゴセントリックなビデオがエンボディード・ラーニングに利用できるようになるにつれ、この低コストでスケーラブルなデータソースをロボット操作機能にする方法が重要な研究課題となっている。 エゴセントリックなビデオは、ハイレベルなタスク理解のためのリッチなコンテキストを提供する一方、手首の観察とアクションアノテーションを備えた実ロボットのデモは、きめ細かいアクションアライメントの監督を提供する。 本稿では,階層型視覚表現学習のためのデータネイティブフレームワークであるEgo-CEVRについて述べる。 グローバルモジュールは、エゴセントリックビデオの将来の予測を通じて、オブジェクト関係、タスク状態、時間経過を学習する。 インタラクションモジュールは、グローバルな文脈で手首の観察を解釈し、ロボットアクションの監視を通じて局所的なアライメントと接触の手がかりを学習する。 個別の残余パスは両方の表現をアクションポリシーに公開し、きめ細かい実行情報とともにタスクコンテキストへの直接アクセスを保存する。 Ego-CEVRは、ロボットアクションラベルやペアリングした手首観察を必要とせず、大規模な人間中心のビデオや、多様なロボットエンボディメントのビデオに対して、グローバルビデオモジュールの独立した事前トレーニングをサポートする。

関連論文リスト

• ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning [70.23139587050669]
  本稿では,世界ダイナミクスのアクション推論を基盤としたVLA学習フレームワークであるThinkWorldを紹介する。 ThinkWorldは個々のアクションを、個別のモーショントークンのシーケンスであるChain-of-Dynamics(CoD)として考える。 まず、行動ラベルによる実証実験を行い、各CoDが引き起こす未来を予測し、その予測が観測結果とよりよく一致するものを強化する。
  論文  参考訳（メタデータ） (2026-10-27T17:59:52Z)
• World Action Learning via Interaction-Centric Spectral Latent Guidance [22.280392627354654]
  WING(World Action Learning via Interaction-Centric Spectral Latent Guidance)は、エゴセントリックなビデオからロボットポリシーにインタラクション知識を移行するためのフレームワークである。 クロス・エボディメント・タスク・セマンティクスはゆっくりと変化する時間構造に集中しているという観察を生かしている。 LIBEROは99.20%、RoboTwin 2.0は93.80%、RoboCasa-GR1は57.7%である。
  論文  参考訳（メタデータ） (2026-10-02T17:08:12Z)
• EWAM: Emergent Depth-Wise Specialization in a Unified Embodied Model -- From Semantic Understanding through Visual Foresight to Action [65.7650775259592]
  視覚言語行動(VLA)ポリシーは意味理解を重視し、世界行動モデル(WAM)は環境力学の予測表現を学習する。 本研究では,アクション中心の統一型エンボディモデルであるEWAMについて述べる。
  論文  参考訳（メタデータ） (2026-09-30T15:35:53Z)
• Developing Vision-Language-Action Model from Egocentric Videos [14.1517430035289]
  エゴセントリックなビデオは、人間がオブジェクトやツールを操作する方法を捉え、オブジェクトの操作を学ぶための多様な動きの手がかりを提供する。 このようなビデオを利用してロボットのポリシーを訓練する以前の研究は、手動の詳細な記録のような補助的なアノテーションに依存していた。 本研究では,エゴセントリックビデオから6DoFオブジェクト操作トラジェクトリを抽出するフレームワークであるEgoScalerを活用することで,この問題に対処する。
  論文  参考訳（メタデータ） (2025-09-26T07:09:33Z)
• Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions [110.43343503158306]
  本稿では、手動支援タスクを視覚言語アクションフレームワークに組み込み、そのアシスタントは、自我中心のビジョンとコマンドに従ってインストラクターにサービスを提供する。 この設定の下で、我々は、マルチモーダルデータの11.4時間1.2Mフレームを持つ、最初の大規模人・物・人間のインタラクションデータセットであるInterVLAを達成した。 我々は,エゴセントリックな人の動き推定,相互作用合成,および包括的分析による相互作用予測に関する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-08-06T17:46:23Z)
• TASTE-Rob: Advancing Video Generation of Task-Oriented Hand-Object Interaction for Generalizable Robotic Manipulation [18.083105886634115]
  TASTE-Robは、エゴ中心のハンドオブジェクトインタラクションビデオ100,856のデータセットである。 それぞれのビデオは、言語指示と慎重に一致し、一貫したカメラ視点から記録される。 リアリズムを高めるために,我々は3段階のポーズ・リファインメント・パイプラインを導入する。
  論文  参考訳（メタデータ） (2025-03-14T14:09:31Z)
• Modeling Fine-Grained Hand-Object Dynamics for Egocentric Video Representation Learning [71.02843679746563]
  エゴセントリックなビデオ理解では、手や物体の動きと相互作用は自然によって重要な役割を果たす。 本研究では,細粒度ハンドオブジェクトのモデリングをビデオ表現学習プロセスに統合することを目的とする。 EgoVideoは,手の動き情報を微粒化するための,新しい軽量モーションアダプタを備えたモデルである。
  論文  参考訳（メタデータ） (2025-03-02T18:49:48Z)
• Humanoid-VLA: Towards Universal Humanoid Control with Visual Integration [28.825612240280822]
  本稿では,言語理解,エゴセントリックなシーン認識,モーションコントロールを統合し,普遍的なヒューマノイド制御を実現する新しいフレームワークを提案する。 Humanoid-VLAは、テキスト記述と組み合わせた非エゴセントリックな人間の動きデータセットを使用して、言語運動の事前アライメントから始まる。 そして、パラメータを効率よくビデオコンディショニングすることで、エゴセントリックな視覚コンテキストを取り入れ、コンテキスト認識モーション生成を可能にする。
  論文  参考訳（メタデータ） (2025-02-20T18:17:11Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。