論文の概要: Exo2EgoHOI: Hand-Object-Interaction Aware Exocentric-to-Egocentric Video Generation

• arxiv url: http://arxiv.org/abs/2609.38615v1
• Date: Tue, 29 Sep 2026 22:20:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.797627
• Title: Exo2EgoHOI: Hand-Object-Interaction Aware Exocentric-to-Egocentric Video Generation
• Title（参考訳）: Exo2EgoHOI:Exocentric-to-Egocentric Video Generationを意識したハンドオブジェクトインタラクション
• Abstract要約: HOI対応ビデオ生成フレームワークであるExo2EgoHOIについて述べる。 より微細なHoIを保存するために,シーン形状,手書きレンダリング,高密度な手オブジェクト関係場を組み合わせた4次元HOIを前もって導入する。 ARCTIC-HOIとEgo-Exo4Dの実験は、オブジェクトの一貫性とHOI保存を大幅に改善した。
• 参考スコア（独自算出の注目度）: 15.185242053195694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric videos of human manipulation provide valuable visual experience for embodied intelligence, yet collecting such data at scale is costly. Exocentric-to-egocentric video generation offers a scalable alternative by transforming abundant third-person manipulation videos into first-person observations. However, existing methods often struggle to faithfully preserve demonstrated hand-object interactions (HOI) across large viewpoint changes due to insufficient fine-grained interaction guidance and weak object-centric anchoring. We present Exo2EgoHOI, an HOI-aware video generative framework for interaction-preserving exocentric-to-egocentric translation. To preserve fine-grained HOI, we introduce a unified 4D HOI prior that combines scene geometry, articulated hand renderings, and dense hand-object relation fields, together with a dual-branch residual adapter for injecting structural and relational cues into the video generation backbone. To preserve object consistency, we introduce Decomposed Gated Cross-Attention, which separately encodes object and background references and adaptively integrates global semantic and local appearance features as object-centric anchors. Experiments on ARCTIC-HOI and Ego-Exo4D demonstrate substantial improvements in object consistency and HOI preservation while maintaining competitive visual fidelity. In particular, on ARCTIC-HOI, Exo2EgoHOI improves object mIoU by 32.3% and reduces MPJPE and PA-MPJPE by 34.7% and 50.0%, respectively, relative to the respective best baseline results. Project page: https://rcl-robotics.github.io/Exo2EgoHOI/.
• Abstract（参考訳）: 人間の操作のエゴセントリックなビデオは、インテリジェンスを具現化した貴重な視覚体験を提供するが、そのようなデータを大規模に収集するにはコストがかかる。 Exocentric-to-egocentricビデオ生成は、豊富な第三者操作ビデオから一対一の観察に変換することで、スケーラブルな代替手段を提供する。 しかし、既存の手法は、細粒度の相互作用ガイダンスが不十分で、オブジェクト中心のアンカーが弱いため、大きな視点で示されるオブジェクト間相互作用(HOI)を忠実に保存するのに苦労することが多い。 HOI対応ビデオ生成フレームワークであるExo2EgoHOIについて述べる。 より微細なHoIを保存するために,シーン形状,手書き描画,高密度ハンドオブジェクト関係フィールド,およびビデオ生成バックボーンに構造的およびリレーショナルキューを注入するためのデュアルブランチ残差アダプタを組み合わせた4D HOIを前もって導入した。 オブジェクトの一貫性を維持するために、オブジェクトと背景の参照を別々に符号化し、グローバルな意味的特徴と局所的な外観特徴をオブジェクト中心のアンカーとして適応的に統合するDecomposed Gated Cross-Attentionを導入する。 ARCTIC-HOIとEgo-Exo4Dの実験は、競合する視力を維持しながら、オブジェクトの一貫性とHOI保存を大幅に改善したことを示している。 特にARCTIC-HOIでは、Exo2EgoHOIはオブジェクトmIoUを32.3%改善し、それぞれ最高のベースライン結果に対してMPJPEとPA-MPJPEを34.7%、そして50.0%削減する。 プロジェクトページ: https://rcl-robotics.github.io/Exo2EgoHOI/

関連論文リスト

• Grounded-Exo2Ego: Structured Semantic Grounding for Robust Exocentric-to-Egocentric Video Generation [25.65935430003468]
  一つのエゴセントリックなビデオからエゴセントリックなビデオを生成することは、AR/VRと物理的なAIにとって、新しくて重要なトピックである。 Grounded-Exo2Egoは、アーキテクチャレベルとデータレベルの両方においてこれらの課題に対処する原則的なフレームワークです。
  論文  参考訳（メタデータ） (2026-08-20T19:57:04Z)
• Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
  モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。 既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。 単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-12T10:02:23Z)
• GenHOI: Towards Object-Consistent Hand-Object Interaction with Temporally Balanced and Spatially Selective Object Injection [54.879037588415656]
  GenHOIは、事前訓練されたビデオ生成モデルに対する軽量な拡張である。 参照オブジェクト情報を時間的にバランスよく空間的に選択的に注入する。 GenHOIは最先端のHOI再現やオールインワンのビデオ編集方法よりも優れています。
  論文  参考訳（メタデータ） (2026-03-06T09:01:09Z)
• ObjectRelator: Enabling Cross-View Object Relation Understanding Across Ego-Centric and Exo-Centric Perspectives [109.11714588441511]
  Ego-Exoオブジェクト対応タスクは,セグメンテーションを通じて,ego-Exoパースペクティブ間のオブジェクト関係を理解することを目的としている。 最近提案されたセグメンテーション手法であるPSALMは、このタスクでデモされたゼロショット能力を例外として挙げている。 我々は、マルチモーダルコンディションフュージョンとSSLベースのクロスビューオブジェクトアライメントという、2つの重要なモジュールを特徴とする新しいアプローチであるObjectRelatorを提案する。
  論文  参考訳（メタデータ） (2024-11-28T12:01:03Z)
• Put Myself in Your Shoes: Lifting the Egocentric Perspective from Exocentric Videos [66.46812056962567]
  Exocentric-to-egocentric cross-view translationは、第三者(exocentric)の観点からアクターをキャプチャするビデオ録画に基づいて、アクターの1人(egocentric)ビューを生成することを目的としている。 そこで我々は,Exo2Egoという,翻訳過程を高次構造変換と画素レベルの幻覚の2段階に分解する生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T01:00:00Z)
• Learning Fine-grained View-Invariant Representations from Unpaired Ego-Exo Videos via Temporal Alignment [71.16699226211504]
  我々は,エゴセントリックな映像とエゴセントリックな映像を時間内に整列させることにより,視点に不変なきめ細かいアクション特徴を学習することを提案する。 そこで本研究では,2つの鍵設計を持つ自己教師型埋め込み手法であるAE2を提案する。 評価のために,エゴ・エクソ・コンテキストにおけるきめ細かい映像理解のためのベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-06-08T19:54:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。