論文の概要: Ego-Forge: Text and Geometric-Attention Free Exo-to-Egocentric Video Generation

• arxiv url: http://arxiv.org/abs/2609.35368v1
• Date: Mon, 28 Sep 2026 15:09:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:03:42.35053
• Title: Ego-Forge: Text and Geometric-Attention Free Exo-to-Egocentric Video Generation
• Title（参考訳）: Ego-Forge:テキストと幾何学的意図のないエゴセントリックなビデオ生成
• Abstract要約: 我々は,exo-to-egocentric生成のためのキャプションフリーでバイアスフリーなフレームワークである textbfEgo-Forge を提案する。 マグニチュードの順序でトレーニングをスケールすることで、Ego-Forgeはクロスビュー対応を暗黙的に学習し、幾何学誘導の注意を不要にする。 私たちのモデルとソースコードは公開されます。
• 参考スコア（独自算出の注目度）: 57.77870808920216
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exo-to-egocentric video generation aims to synthesize what a person sees from their own viewpoint given third-person footage and a target head trajectory. The task requires transferring appearance and semantics across large viewpoint changes while hallucinating content never observed by the exocentric camera. Existing approaches either impose additional input requirements, such as a ground-truth initial egocentric frame or multiple synchronized exocentric views, or remain limited to category-specific settings. EgoX is the first to address cross-activity and in-the-wild generalization, but requires a human-provided caption of the non-existent egocentric view at inference and introduces a computationally expensive geometry-guided attention bias that can propagate reconstruction errors and suppress textual and visual context. We therefore propose \textbf{Ego-Forge}, a caption-free and bias-free framework for exo-to-egocentric generation. It introduces \textit{Dynamic Captioning}, which derives conditioning tokens directly from the model's hidden states and adapts them to the diffusion timestep and network depth, replacing external text conditioning. By scaling training by an order of magnitude and using all available exocentric viewpoints, Ego-Forge learns cross-view correspondence implicitly and eliminates the need for geometry-guided attention, requiring only a lightweight depth prior. Ego-Forge achieves state-of-the-art performance on Ego-Exo4D, runs faster end-to-end, requires no external annotation at inference, and generalizes to in-the-wild scenes, including cases where over-reliance on geometry blocks appearance inference. Our model and source code will be made publicly available.
• Abstract（参考訳）: エキソ・ツー・エゴセントリックなビデオ生成は、第三者の映像とターゲットの頭部の軌跡が与えられた場合、自分の視点で見るものを合成することを目的としている。 このタスクは、外心カメラで観測されなかった幻覚コンテンツに対して、大きな視点の変化にまたがって外観と意味を移す必要がある。 既存のアプローチでは、アーストゥルースの初期中心のフレームや複数の同期化されたエクソセントリックなビューといった追加の入力要求を課すか、あるいはカテゴリ固有の設定に制限される。 EgoXは、クロスアクティビティとインザワイルドの一般化に最初に対処するが、推論において既存のエゴセントリックな視点の人為的なキャプションが必要であり、再構成エラーを伝播し、テキストや視覚的コンテキストを抑えるのに、計算的に高価な幾何学的ガイドによる注意バイアスを導入する。 そこで我々は,exo-to-egocentric 生成のためのキャプションフリーでバイアスフリーなフレームワークである \textbf{Ego-Forge} を提案する。 これは、モデルの隠れた状態から直接コンディショントークンを導き出し、それを拡散時間ステップとネットワーク深さに適応させ、外部のテキストコンディショニングを置き換える。 Ego-Forgeは、桁違いにトレーニングをスケールし、利用可能なすべての外心的視点を利用することで、視線横断対応を暗黙的に学習し、幾何誘導の注意を必要とせず、より軽い深度しか必要としない。 Ego-Forgeは、Ego-Exo4Dの最先端のパフォーマンスを達成し、より高速なエンドツーエンドの実行、推論時の外部アノテーションの不要、そして、ジオメトリの過度な依存が外観推論をブロックするケースを含む、ウィジェット内のシーンへの一般化を実現している。 私たちのモデルとソースコードは公開されます。

関連論文リスト

• Robust Egocentric Referring Video Object Segmentation via Dual-Modal Causal Intervention [58.05340906967343]
  Egocentric Referring Video Object (Ego-RVOS)は、言語クエリで説明されているように、人間のアクションに積極的に関与する特定のオブジェクトを、一人称ビデオに分割することを目的としている。 既存の手法はしばしば苦労し、データセット内の歪んだオブジェクト-アクションのペアリングから急激な相関を学習する。 本稿では,強力なトレーニング済みRVOSをエゴセントリックドメインに適応させるプラグイン因果フレームワークであるCausal-Referring(CERES)を紹介する。
  論文  参考訳（メタデータ） (2025-12-30T16:22:14Z)
• EgoX: Egocentric Video Generation from a Single Exocentric Video [46.41583107241048]
  EgoXは,1つのインプットからエゴセントリックなビデオを生成するための新しいフレームワークである。 提案手法は,不明瞭でリアルなエゴシックなビデオ生成を実現すると同時に,未確認映像のスケーラビリティとロバスト性を実証する。
  論文  参考訳（メタデータ） (2025-12-09T05:53:39Z)
• EgoWorld: Translating Exocentric View to Egocentric View using Rich Exocentric Observations [4.252119151012245]
  EgoWorld(エゴワールド)は、エゴセントリックな視点を、豊富なエゴセントリックな視点から再構築する新しいフレームワークである。 提案手法は,推定された遠心深度マップから点雲を再構成し,それをエゴセントリックな視点に再投影し,拡散に基づくインペインティングを適用して,密集した意味的コヒーレントなエゴセントリックな画像を生成する。 EgoWorldは最先端のパフォーマンスを実現し、新しいオブジェクト、アクション、シーン、主題への堅牢な一般化を実証している。
  論文  参考訳（メタデータ） (2025-06-22T04:21:48Z)
• EgoExo-Fitness: Towards Egocentric and Exocentric Full-Body Action Understanding [27.881857222850083]
  EgoExo-Fitnessは新しいフルボディアクション理解データセットである。 シンクロナイズドエゴセントリックカメラと固定型エゴセントリックカメラで撮影されたフィットネス・シーケンス・ビデオが特徴。 EgoExo-Fitnessは、エゴセントリックでエゴセントリックなフルボディの行動理解を研究するための新しいリソースを提供する。
  論文  参考訳（メタデータ） (2024-06-13T07:28:45Z)
• Do Egocentric Video-Language Models Truly Understand Hand-Object Interactions? [48.702973928321946]
  Egocentric Video-Language Pretrainingは、一対一のシナリオにおける手動対話の理解を促進するための重要なステップである。 既存のテストベッドでの成功にもかかわらず、現在のEgoVLMは簡単な修正によって容易に誤認できることがわかった。 EgoVLMは手動オブジェクトの相互作用を本当に理解していますか?
  論文  参考訳（メタデータ） (2024-05-28T00:27:29Z)
• Put Myself in Your Shoes: Lifting the Egocentric Perspective from Exocentric Videos [66.46812056962567]
  Exocentric-to-egocentric cross-view translationは、第三者(exocentric)の観点からアクターをキャプチャするビデオ録画に基づいて、アクターの1人(egocentric)ビューを生成することを目的としている。 そこで我々は,Exo2Egoという,翻訳過程を高次構造変換と画素レベルの幻覚の2段階に分解する生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T01:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。