論文の概要: RealMe: Immersive Volumetric Video from Minimal Captures

• arxiv url: http://arxiv.org/abs/2610.30023v1
• Date: Wed, 21 Oct 2026 16:49:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.416957
• Title: RealMe: Immersive Volumetric Video from Minimal Captures
• Title（参考訳）: RealMe:ミニチュア・キャプチャーによる没入型ボリュームビデオ
• Abstract要約: RealMeは高解像度ビデオ拡散モデルに基づいて構築されたフレームワークで、制限されたキャプチャーを高解像度(2K)、4D一貫性のあるビデオに拡張する。 我々はRealMeが没入型ボリュームビデオを作成し、視覚的忠実度と4D一貫性において最先端の手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 20.713295511780466
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper addresses the problem of creating immersive volumetric videos from sparse and low-resolution capture resources. Conventional dense multi-view reconstruction methods can produce high-quality volumetric videos, but their reliance on costly capture setups makes them impractical in real-world scenarios. Recent approaches use generative models to relax capture requirements, but still suffer from limited resolution and 4D inconsistency. To overcome these constraints, we propose RealMe, a unified framework built around a high-resolution video diffusion model that enhances limited captures into high-resolution (2K), 4D-consistent videos for volumetric video reconstruction. Specifically, RealMe constructs auxiliary data from capture videos and encodes them into latents along with layout-aware positional embeddings. The video diffusion model adapts factorized spatio-temporal attention to the multi-view capture layout, denoises these latents across viewpoints and time, and decodes them into enhanced videos to refine the 4D representation. This adaptation helps the model capture temporal dynamics and multi-view relationships, leading to more 4D-consistent generation. To reduce the data gap between generated videos and real captures, we apply a latent frequency loss that provides frequency-domain supervision in latent space. Extensive experiments on the public DNA-Rendering benchmark and our self-captured RealVV dataset demonstrate that RealMe is able to create immersive volumetric videos and outperforms state-of-the-art methods in visual fidelity and 4D consistency.
• Abstract（参考訳）: 本稿では,スパース・ローレゾリューション・キャプチャーから没入型ボリューム・ビデオを作成する際の問題点について述べる。 従来の濃密な多視点再構成手法は高品質なボリュームビデオを生成することができるが、コストのかかるセットアップに依存しているため、現実のシナリオでは現実的ではない。 最近のアプローチでは、生成モデルを使用してキャプチャ要求を緩和するが、解像度の制限と4Dの不整合に悩まされている。 これらの制約を克服するために,高解像度ビデオ拡散モデルに基づいて構築された統合フレームワークであるRealMeを提案する。 具体的には、RealMeはキャプチャビデオからの補助データを構築し、それらをレイトにエンコードし、レイアウトを意識した位置埋め込みを行う。 ビデオ拡散モデルは、多視点キャプチャレイアウトに分解された時空間的注意を適応させ、これらの潜伏者を視点と時間で識別し、それらを拡張ビデオにデコードして、4D表現を洗練させる。 この適応は、モデルが時間的ダイナミクスとマルチビューの関係を捉え、より多くの4D一貫性を生み出すのに役立つ。 生成されたビデオと実際のキャプチャ間のデータギャップを低減するために、潜時空間における周波数領域の監視を提供する潜時周波数損失を適用した。 公開DNAレンダリングベンチマークと私たちの自己キャプチャーされたRealVVデータセットに関する大規模な実験は、RealMeが没入型のボリュームビデオを作成し、視覚的忠実さと4D一貫性で最先端の手法を上回ります。

関連論文リスト

• 4DGCPro: Efficient Hierarchical 4D Gaussian Compression for Progressive Volumetric Video Streaming [52.76837132019501]
  本稿では,新しい階層型4D圧縮フレームワークである4DGCProを紹介する。 4DGCProは、プログレッシブボリュームビデオストリーミングによるリアルタイムモバイルデコーディングと高品質なレンダリングを容易にする。 エンドツーエンドのエントロピー最適化トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2025-09-22T08:38:17Z)
• Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models [83.76517697509156]
  本稿では、疎視映像を入力として高忠実度視点合成の課題に対処する。 本研究では, 4次元拡散モデルの視時整合性を高めるために, 反復的スライディング・デノナイジング法を提案する。 提案手法は,高品質で一貫したノベルビュー映像を合成し,既存の手法を大幅に上回っている。
  論文  参考訳（メタデータ） (2025-07-17T17:59:17Z)
• Zero4D: Training-Free 4D Video Generation From Single Video Using Off-the-Shelf Video Diffusion [52.0192865857058]
  そこで,本研究では,市販ビデオ拡散モデルを利用して,単一入力ビデオから多視点ビデオを生成する4Dビデオ生成手法を提案する。 本手法はトレーニング不要で,市販のビデオ拡散モデルを完全に活用し,マルチビュービデオ生成のための実用的で効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-03-28T17:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。