論文の概要: Grounded-Exo2Ego: Structured Semantic Grounding for Robust Exocentric-to-Egocentric Video Generation
- arxiv url: http://arxiv.org/abs/2608.20534v1
- Date: Thu, 20 Aug 2026 19:57:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.206466
- Title: Grounded-Exo2Ego: Structured Semantic Grounding for Robust Exocentric-to-Egocentric Video Generation
- Title（参考訳）: Grounded-Exo2Ego:ロバストなExocentric-to-Egocentricビデオ生成のための構造化セマンティックグラウンド
- Abstract要約: 一つのエゴセントリックなビデオからエゴセントリックなビデオを生成することは、AR/VRと物理的なAIにとって、新しくて重要なトピックである。
Grounded-Exo2Egoは、アーキテクチャレベルとデータレベルの両方においてこれらの課題に対処する原則的なフレームワークです。
- 参考スコア（独自算出の注目度）: 25.65935430003468
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating egocentric video from a single exocentric video is an emerging and important topic for AR/VR and physical AI. Compared with conventional novel view synthesis, exo-to-ego generation is a significantly harder task because the standard geometric conditioning becomes highly unreliable under extreme view changes and large unobservable regions. We present Grounded-Exo2Ego, a principled framework that addresses these challenges at both the architectural and data levels. Architecturally, Grounded-Exo2Ego is a dual-branch video diffusion model that couples a geometric anchoring branch, which conditions the generation on the rendering of a 3D reconstruction, with a novel semantic grounding branch, which goes beyond the prevailing geometry-based approach and improves quality by synthesizing challenging regions based on object-level context. Additionally, we found that the overlooked issue of camera-reconstruction misalignment severely undermines exo-to-ego learning. We thus introduce a camera re-localization algorithm that resolves this issue and substantially improves quality across all metrics. We further develop a fully automated synthetic data engine that generates and renders rigged 3D characters in procedurally generated environments. Evaluation on the challenging EgoExo4D dataset shows that our method outperforms recent state-of-the-art approaches by large margins across all metrics. Detailed ablations validate improvements from each of our contributions at both the data and architectural level.
- Abstract（参考訳）: 一つのエゴセントリックなビデオからエゴセントリックなビデオを生成することは、AR/VRと物理的なAIにとって、新しくて重要なトピックである。
標準幾何条件付けは、極端な視野の変化や大きな観測不可能な領域において、信頼性が高くなるため、従来の新規なビュー合成と比較すると、エキソ・ツー・エゴ生成は非常に難しい作業である。
Grounded-Exo2Egoは、アーキテクチャレベルとデータレベルの両方においてこれらの課題に対処する原則的なフレームワークです。
アーキテクチャ上は、Gunded-Exo2Egoは、幾何学的アンカリングブランチを結合した二重ブランチビデオ拡散モデルであり、3次元再構成のレンダリングを前提とした生成と、一般的な幾何学的アプローチを超越した新しいセマンティックグラウンドティングブランチと、オブジェクトレベルのコンテキストに基づいて挑戦的な領域を合成することで品質を向上させる。
さらに、カメラ・リコンストラクションの誤調整の見過ごされがちな問題は、エキソ・ツー・エゴの学習を著しく損なうことが判明した。
そこで我々は,この問題を解決するカメラ再局在アルゴリズムを導入し,すべてのメトリクスの質を大幅に改善する。
我々はさらに、手続き的に生成された環境において、3Dキャラクタを生成しレンダリングする完全自動合成データエンジンを開発する。
挑戦的なEgoExo4Dデータセットの評価は、我々の手法が最近の最先端の手法よりも、すべての指標において大きなマージンで優れていることを示している。
詳細な説明は、データレベルとアーキテクチャレベルの両方で、それぞれのコントリビューションの改善を検証するものです。
関連論文リスト
- CGGS: Consistency-Augmented Geometric Gaussian Splatting for Ego-centric 3D Scene Generation [14.481547285312928]
CGGSは,エゴ中心シーン生成における3次元コンテンツ認識性の向上と幾何学的歪みへの対処を目的としている。
Ego中心ジェネレータは、連続的な損失を増大させたマルチビュー遅延拡散モデルを微調整することによって提案される。
レイアウトデコレータは光流と点線対応を利用して推定深度を推定する。
エントロピーをベースとした相互情報深度損失を用いた3次元ガウス再構成の高速化が提案されている。
論文 参考訳（メタデータ） (2026-07-04T11:06:41Z) - Xiaomi Auto World Model: A Joint World Model Integrating Reconstruction and Generation for Autonomous Driving [51.90209659403234]
本報告では,世界モデルの自律運転における2つのコア機能に対処する統合技術システムを提案する。
世界表現のために,スパースシーンクエリによって駆動されるフィードフォワード再構築アーキテクチャであるWorldRecを提案する。
次世代に向けて,両方向性事前学習のための2段階のトレーニングフレームワークWorldGenを提案し,それに続いて因果微調整を行う。
論文 参考訳（メタデータ） (2026-05-18T09:46:16Z) - World-R1: Reinforcing 3D Constraints for Text-to-Video Generation [36.18760315762835]
本稿では,強化学習による映像生成を3次元制約に整合させるフレームワーク World-R1 を提案する。
事前学習した3D基礎モデルと視覚言語モデルからのフィードバックを用いてモデルを最適化する。
提案手法は,基礎モデルの本来の視覚的品質を保ちながら,3次元の一貫性を著しく向上させる。
論文 参考訳（メタデータ） (2026-04-27T17:59:56Z) - Bringing a Personal Point of View: Evaluating Dynamic 3D Gaussian Splatting for Egocentric Scene Reconstruction [17.903916530175533]
エゴセントリックなビデオは、人間の知覚と相互作用に関するユニークな視点を提供する。
迅速なカメラモーションと複雑なシーンダイナミクスは、この観点から3次元再構成に大きな課題をもたらす。
エゴ中心およびエゴ中心ビデオ上での動的単分子3DGSモデルの評価を,ペア・エゴ・エゴ・エゴ・レコーディングを用いて行った。
論文 参考訳（メタデータ） (2026-04-26T16:58:19Z) - OneWorld: Taming Scene Generation with 3D Unified Representation Autoencoder [90.8453349494245]
本研究では,コヒーレントな3次元表現空間内で直接拡散を行うOneWorldを提案する。
OneWorldは、最先端の2Dベースの方法と比較して、クロスビューの一貫性に優れた高品質な3Dシーンを生成する。
論文 参考訳（メタデータ） (2026-03-17T03:43:37Z) - RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。
相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
論文 参考訳（メタデータ） (2026-02-24T08:41:40Z) - Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video [76.32954467706581]
本稿では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。
階層的なマイニングパイプラインを使用して、ビデオをトレーニングトラジェクトリやハイブリッド監視に変換します。
実験の結果、SAGEはゼロショットの一般化を著しく向上し、チェムファー距離を20-42%削減した。
論文 参考訳（メタデータ） (2026-02-08T09:53:21Z) - GeoDiff3D: Self-Supervised 3D Scene Generation with Geometry-Constrained 2D Diffusion Guidance [8.625308061265754]
3Dシーン生成は、ゲーム、フィルム/VFX、VR/ARのコア技術である。
既存の手法は、間接的な2D-to-3D再構成と直接的な3D生成という2つのパラダイムに大きく従っている。
構造的アンカーとして粗い幾何学と幾何学制約付き2次元拡散モデルを用いてテクスチャリッチな参照画像を提供する,効率的な自己教師型フレームワークGeoDiff3Dを提案する。
論文 参考訳（メタデータ） (2026-01-27T16:47:35Z) - WorldGrow: Generating Infinite 3D World [75.81531067447203]
我々は、無限に拡張可能な3D世界、すなわちコヒーレントな幾何学と現実的な外観を持つ大規模で連続的な環境を生み出すという課題に取り組む。
本研究では,非有界な3次元シーン合成のための階層的フレームワークWorldGrowを提案する。
提案手法は,(1)高品質なシーンブロックを抽出し,シーン生成に適した3D構造化潜在表現を作成するデータキュレーションパイプライン,(2)コンテキスト認識シーン拡張を可能にする3Dブロックインペイント機構,(3)グローバルなレイアウトの妥当性と局所幾何学的/音声的忠実性の両立を保証する粗大かつ微細な生成戦略,の3つのコアコンポーネントを特徴とする。
論文 参考訳（メタデータ） (2025-10-24T17:39:52Z) - HumanGenesis: Agent-Based Geometric and Generative Modeling for Synthetic Human Dynamics [60.737929335600015]
4つの協調エージェントを通して幾何学的および生成的モデリングを統合するフレームワークである textbfHumanGenesis を提示する。
HumanGenesisは、テキスト誘導合成、ビデオ再現、新規目的一般化といったタスクで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-08-13T14:50:19Z) - GTR: Gaussian Splatting Tracking and Reconstruction of Unknown Objects Based on Appearance and Geometric Complexity [49.31257173003408]
モノクローナルRGBDビデオからの6-DoFオブジェクト追跡と高品質な3D再構成のための新しい手法を提案する。
提案手法は, 高忠実度オブジェクトメッシュを復元する強力な能力を示し, オープンワールド環境における単一センサ3D再構成のための新しい標準を策定する。
論文 参考訳（メタデータ） (2025-05-17T08:46:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。