論文の概要: Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering
- arxiv url: http://arxiv.org/abs/2311.18561v2
- Date: Wed, 20 Mar 2024 16:27:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 22:17:48.036973
- Title: Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering
- Title(参考訳): 周期振動ガウス:動的都市景観復元とリアルタイムレンダリング
- Authors: Yurui Chen, Chun Gu, Junzhe Jiang, Xiatian Zhu, Li Zhang,
- Abstract要約: 周期振動ガウスモデル(PVG)を提案する。
PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。
PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
- 参考スコア(独自算出の注目度): 36.111845416439095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling dynamic, large-scale urban scenes is challenging due to their highly intricate geometric structures and unconstrained dynamics in both space and time. Prior methods often employ high-level architectural priors, separating static and dynamic elements, resulting in suboptimal capture of their synergistic interactions. To address this challenge, we present a unified representation model, called Periodic Vibration Gaussian (PVG). PVG builds upon the efficient 3D Gaussian splatting technique, originally designed for static scene representation, by introducing periodic vibration-based temporal dynamics. This innovation enables PVG to elegantly and uniformly represent the characteristics of various objects and elements in dynamic urban scenes. To enhance temporally coherent and large scene representation learning with sparse training data, we introduce a novel temporal smoothing mechanism and a position-aware adaptive control strategy respectively. Extensive experiments on Waymo Open Dataset and KITTI benchmarks demonstrate that PVG surpasses state-of-the-art alternatives in both reconstruction and novel view synthesis for both dynamic and static scenes. Notably, PVG achieves this without relying on manually labeled object bounding boxes or expensive optical flow estimation. Moreover, PVG exhibits 900-fold acceleration in rendering over the best alternative.
- Abstract(参考訳): 大規模都市景観のモデリングは、高度に複雑な幾何学的構造と、空間と時間の両方における制約のないダイナミクスのために困難である。
従来の手法では、静的要素と動的要素を分離して、高レベルのアーキテクチャの先行をしばしば採用しており、それによって相乗的相互作用を最適以下に捉えている。
この課題に対処するために,周期振動ガウス (PVG) と呼ばれる統一表現モデルを提案する。
PVGは、周期振動に基づく時間力学を導入することで、当初静的なシーン表現のために設計された効率的な3次元ガウススプラッティング技術に基づいている。
この革新によりPVGは、動的な都市景観における様々な物体や要素の特徴を優雅かつ均一に表現することができる。
スパーストレーニングデータによる時間的コヒーレントおよび大規模シーン表現学習を強化するため,新しい時間的平滑化機構と位置認識適応制御戦略を導入する。
Waymo Open DatasetとKITTIベンチマークの大規模な実験は、PVGが動的および静的の両方のシーンにおいて、再構築と新しいビュー合成の両方において最先端の代替品を上回ることを実証している。
特にPVGは、手動でラベル付けされたオブジェクト境界ボックスや高価な光フロー推定に頼ることなく、これを実現する。
さらにPVGは、最良の代替品よりも900倍のレンダリング速度を示す。
関連論文リスト
- Multi-Level Neural Scene Graphs for Dynamic Urban Environments [64.26401304233843]
本稿では, 動的都市環境に対する新しい分解可能放射場アプローチを提案する。
本稿では,数百の高速移動物体を含む数十のシーケンスから数千の画像にスケールする多段階ニューラルシーングラフ表現を提案する。
論文 参考訳(メタデータ) (2024-03-29T21:52:01Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳(メタデータ) (2024-03-18T03:46:26Z) - RoDUS: Robust Decomposition of Static and Dynamic Elements in Urban Scenes [3.1224202646855903]
都市景観における静的要素と動的要素を分解するパイプラインであるRoDUSについて,移動成分と非移動成分を念頭に分離したNeRFモデルを提案する。
この戦略により、シーン内のダイナミックスを正確にキャプチャし、背景再構成におけるNeRFによるアーティファクトの低減を実現することができる。
特に,KITTI-360およびPandasetデータセットを用いた実験により,挑戦的な都市景観を正確に静的かつ動的成分に分解する手法の有効性が示された。
論文 参考訳(メタデータ) (2024-03-14T14:08:59Z) - DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local
Spherical-BEV Perception [54.02566476357383]
本研究では,動的環境運動合成フレームワーク(DEMOS)を提案する。
次に、最終動作合成のために潜在動作を動的に更新する。
その結果,本手法は従来の手法よりも優れ,動的環境の処理性能も優れていた。
論文 参考訳(メタデータ) (2024-03-04T05:38:16Z) - SWAGS: Sampling Windows Adaptively for Dynamic 3D Gaussian Splatting [7.878391936918369]
我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。
我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。
我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
論文 参考訳(メタデータ) (2023-12-20T03:54:03Z) - SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
論文 参考訳(メタデータ) (2023-12-04T11:57:14Z) - DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis
with 3D Gaussian Splatting [35.69069478773709]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。
我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文 参考訳(メタデータ) (2023-11-30T18:59:11Z) - EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via
Self-Supervision [85.17951804790515]
EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。
シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。
本手法はセンサシミュレーションにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-11-03T17:59:55Z) - Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。
本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。
微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文 参考訳(メタデータ) (2023-09-22T16:04:02Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳(メタデータ) (2023-08-18T17:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。