論文の概要: Enhanced Velocity Field Modeling for Gaussian Video Reconstruction
- arxiv url: http://arxiv.org/abs/2507.23704v1
- Date: Thu, 31 Jul 2025 16:26:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 17:19:10.121428
- Title: Enhanced Velocity Field Modeling for Gaussian Video Reconstruction
- Title（参考訳）: ガウスビデオ再構成のための高速度場モデリング
- Authors: Zhenyang Li, Xiaoyang Bai, Tongchen Zhang, Pengfei Shen, Weiwei Xu, Yifan Peng,
- Abstract要約: バーチャル・拡張現実(VR/AR)における動的シーンのリアルタイムレンダリングを実現するためには,高忠実度3次元映像再構成が不可欠である
本稿では,フローガウス-VR(FlowGaussian-VR)と呼ばれるガウスビデオ再構成に適した流速場モデリング手法を提案する。
フローベースの最適化を可能にする速度場レンダリング(VFR)パイプラインと、動的領域におけるガウス数とサイズを調整するフローアシスト適応密度化(FAD)戦略の2つのコアコンポーネントで構成されている。
- 参考スコア（独自算出の注目度）: 21.54297055995746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-fidelity 3D video reconstruction is essential for enabling real-time rendering of dynamic scenes with realistic motion in virtual and augmented reality (VR/AR). The deformation field paradigm of 3D Gaussian splatting has achieved near-photorealistic results in video reconstruction due to the great representation capability of deep deformation networks. However, in videos with complex motion and significant scale variations, deformation networks often overfit to irregular Gaussian trajectories, leading to suboptimal visual quality. Moreover, the gradient-based densification strategy designed for static scene reconstruction proves inadequate to address the absence of dynamic content. In light of these challenges, we propose a flow-empowered velocity field modeling scheme tailored for Gaussian video reconstruction, dubbed FlowGaussian-VR. It consists of two core components: a velocity field rendering (VFR) pipeline which enables optical flow-based optimization, and a flow-assisted adaptive densification (FAD) strategy that adjusts the number and size of Gaussians in dynamic regions. We validate our model's effectiveness on multi-view dynamic reconstruction and novel view synthesis with multiple real-world datasets containing challenging motion scenarios, demonstrating not only notable visual improvements (over 2.5 dB gain in PSNR) and less blurry artifacts in dynamic textures, but also regularized and trackable per-Gaussian trajectories.
- Abstract（参考訳）: 仮想及び拡張現実(VR/AR)におけるリアルな動きを伴う動的シーンのリアルタイムレンダリングを実現するためには,高忠実度3Dビデオ再構成が不可欠である。
3次元ガウススプラッティングの変形場パラダイムは, 深部変形ネットワークの優れた表現能力により, 映像再構成において, ほぼフォトリアリスティックな結果を得た。
しかし、複雑な動きと顕著なスケールのバリエーションを持つビデオでは、変形ネットワークは不規則なガウス軌道に過度に適合し、最適以下の視覚的品質に繋がる。
さらに,静的なシーン再構成のために設計された勾配に基づく密度化戦略は,動的コンテンツの欠如に対処するには不十分であることを示す。
これらの課題を踏まえ,フローガウス-VRと呼ばれるガウスビデオ再構成に適した流速場モデリング手法を提案する。
フローベースの最適化を可能にする速度場レンダリング(VFR)パイプラインと、動的領域におけるガウス数とサイズを調整するフローアシスト適応密度化(FAD)戦略の2つのコアコンポーネントで構成されている。
我々は,多視点動的再構成と複数の実世界のデータセットを用いた新しいビュー合成におけるモデルの有効性を検証し,目立った視覚的改善(PSNRの2.5dB以上のゲイン)と動的テクスチャのぼやけたアーティファクトの低減に加えて,ガウス単位の軌道の正規化と追跡が可能であることを実証した。
関連論文リスト
- Laplacian Analysis Meets Dynamics Modelling: Gaussian Splatting for 4D Reconstruction [9.911802466255653]
本稿では,ハイブリッドな明示的関数を持つ動的3DGSフレームワークを提案する。
本手法は, 複雑な動的シーンを再構築する際の最先端性能を実証し, 再現精度を向上する。
論文 参考訳（メタデータ） (2025-08-07T01:39:29Z) - HoliGS: Holistic Gaussian Splatting for Embodied View Synthesis [59.25751939710903]
本稿では,長い単眼RGBビデオのエンボディドビュー合成に対処する,変形可能なガウススプラッティングフレームワークを提案する。
提案手法は,非可逆ガウス散乱変形ネットワークを利用して大規模動的環境を正確に再構築する。
その結果、現実のシナリオにおけるEVSの実用的でスケーラブルなソリューションが浮かび上がっています。
論文 参考訳（メタデータ） (2025-06-24T03:54:40Z) - DGS-LRM: Real-Time Deformable 3D Gaussian Reconstruction From Monocular Videos [52.46386528202226]
Deformable Gaussian Splats Large Reconstruction Model (DGS-LRM)を紹介する。
動的シーンのモノクロポーズビデオから変形可能な3Dガウススプラットを予測する最初のフィードフォワード法である。
最先端のモノクロビデオ3D追跡手法と同等の性能を発揮する。
論文 参考訳（メタデータ） (2025-06-11T17:59:58Z) - 3D Gaussian Splatting against Moving Objects for High-Fidelity Street Scene Reconstruction [1.2603104712715607]
本稿では,ダイナミックストリートシーン再構築のための新しい3次元ガウス点分布法を提案する。
提案手法では,高忠実度な静的シーンを保存しながらオブジェクトの移動を除去する。
実験により, 大規模動的環境における再現性の向上, レンダリング性能の向上, 適応性の向上が示された。
論文 参考訳（メタデータ） (2025-03-15T05:41:59Z) - Event-boosted Deformable 3D Gaussians for Dynamic Scene Reconstruction [50.873820265165975]
本稿では,高時間分解能連続運動データと動的シーン再構成のための変形可能な3D-GSを併用したイベントカメラについて紹介する。
本稿では、3次元再構成としきい値モデリングの両方を大幅に改善する相互強化プロセスを作成するGS-Thresholdジョイントモデリング戦略を提案する。
提案手法は,合成および実世界の動的シーンを用いた最初のイベント包摂型4Dベンチマークであり,その上で最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-11-25T08:23:38Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via
Self-Supervision [85.17951804790515]
EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。
シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。
本手法はセンサシミュレーションにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2023-11-03T17:59:55Z) - DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。
DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。
我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
論文 参考訳（メタデータ） (2023-09-16T08:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。