論文の概要: Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and
Real-time Rendering
- arxiv url: http://arxiv.org/abs/2311.18561v1
- Date: Thu, 30 Nov 2023 13:53:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 16:17:51.550822
- Title: Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and
Real-time Rendering
- Title(参考訳): 周期振動ガウシアン:動的都市景観再構成とリアルタイムレンダリング
- Authors: Yurui Chen, Chun Gu, Junzhe Jiang, Xiatian Zhu, Li Zhang
- Abstract要約: 周期振動ガウスモデル(PVG)を提案する。
PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。
PVGは動的シーンと静的シーンの両方に対して、再構築と新規ビュー合成の両方において最先端の代替手段を超越していることを示す。
- 参考スコア(独自算出の注目度): 38.74244725059936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling dynamic, large-scale urban scenes is challenging due to their highly
intricate geometric structures and unconstrained dynamics in both space and
time. Prior methods often employ high-level architectural priors, separating
static and dynamic elements, resulting in suboptimal capture of their
synergistic interactions. To address this challenge, we present a unified
representation model, called Periodic Vibration Gaussian (PVG). PVG builds upon
the efficient 3D Gaussian splatting technique, originally designed for static
scene representation, by introducing periodic vibration-based temporal
dynamics. This innovation enables PVG to elegantly and uniformly represent the
characteristics of various objects and elements in dynamic urban scenes. To
enhance temporally coherent representation learning with sparse training data,
we introduce a novel flow-based temporal smoothing mechanism and a
position-aware adaptive control strategy. Extensive experiments on Waymo Open
Dataset and KITTI benchmarks demonstrate that PVG surpasses state-of-the-art
alternatives in both reconstruction and novel view synthesis for both dynamic
and static scenes. Notably, PVG achieves this without relying on manually
labeled object bounding boxes or expensive optical flow estimation. Moreover,
PVG exhibits 50/6000-fold acceleration in training/rendering over the best
alternative.
- Abstract(参考訳): 大規模都市景観のモデリングは、高度に複雑な幾何学的構造と、空間と時間の両方における制約のないダイナミクスのために困難である。
以前の手法では、静的要素と動的要素を分離し、それらの相乗的相互作用を準最適に捉える、ハイレベルなアーキテクチャの優先順位を用いることが多い。
この課題に対処するために,周期振動ガウス (PVG) と呼ばれる統一表現モデルを提案する。
PVGは、周期振動に基づく時間力学を導入することで、当初静的なシーン表現のために設計された効率的な3次元ガウススプラッティング技術に基づいている。
この革新により、pvgは、動的都市シーンにおける様々な物体や要素の特性をエレガントかつ均一に表現することができる。
スパーストレーニングデータによる時間的コヒーレント表現学習を強化するため,新しいフローベース時空間平滑化機構と位置認識適応制御戦略を導入する。
Waymo Open DatasetとKITTIベンチマークの大規模な実験は、PVGが動的および静的の両方のシーンにおいて、再構築と新しいビュー合成の両方において最先端の代替品を上回ることを示した。
特に、pvgは手作業でラベル付きオブジェクトバウンディングボックスや高価な光フロー推定に頼ることなくこれを実現している。
さらに、PVGは最良の選択肢よりもトレーニング/レンダリングにおいて50/6000倍の加速を示す。
関連論文リスト
- RoDUS: Robust Decomposition of Static and Dynamic Elements in Urban Scenes [3.1224202646855903]
都市景観における静的要素と動的要素を分解するパイプラインであるRoDUSについて,移動成分と非移動成分を念頭に分離したNeRFモデルを提案する。
この戦略により、シーン内のダイナミックスを正確にキャプチャし、背景再構成におけるNeRFによるアーティファクトの低減を実現することができる。
特に,KITTI-360およびPandasetデータセットを用いた実験により,挑戦的な都市景観を正確に静的かつ動的成分に分解する手法の有効性が示された。
論文 参考訳(メタデータ) (2024-03-14T14:08:59Z) - DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local
Spherical-BEV Perception [54.02566476357383]
本研究では,動的環境運動合成フレームワーク(DEMOS)を提案する。
次に、最終動作合成のために潜在動作を動的に更新する。
その結果,本手法は従来の手法よりも優れ,動的環境の処理性能も優れていた。
論文 参考訳(メタデータ) (2024-03-04T05:38:16Z) - SWAGS: Sampling Windows Adaptively for Dynamic 3D Gaussian Splatting [7.878391936918369]
我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。
我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。
我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
論文 参考訳(メタデータ) (2023-12-20T03:54:03Z) - SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
論文 参考訳(メタデータ) (2023-12-04T11:57:14Z) - DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis
with 3D Gaussian Splatting [35.69069478773709]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。
我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文 参考訳(メタデータ) (2023-11-30T18:59:11Z) - EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via
Self-Supervision [85.17951804790515]
EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。
シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。
本手法はセンサシミュレーションにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-11-03T17:59:55Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳(メタデータ) (2023-08-18T17:59:21Z) - Unbiased Scene Graph Generation in Videos [36.889659781604564]
TEMPURA: temporal consistency and Memory-guided UnceRtainty Attenuation for unbiased dynamic SGG。
TEMPURAはトランスフォーマーシーケンスモデリングによってオブジェクトレベルの時間的整合性を採用し、バイアスのない関係表現を合成することを学ぶ。
提案手法は,既存手法に比べて大きな性能向上(場合によっては最大10%)を達成している。
論文 参考訳(メタデータ) (2023-04-03T06:10:06Z) - STVGFormer: Spatio-Temporal Video Grounding with Static-Dynamic
Cross-Modal Understanding [68.96574451918458]
静的分岐と動的分岐を用いて視覚言語依存をモデル化するSTVGというフレームワークを提案する。
静的分岐と動的分岐は、クロスモーダルトランスとして設計されている。
提案手法は39.6%のvIoUを達成し,HC-STVGの第1位を獲得した。
論文 参考訳(メタデータ) (2022-07-06T15:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。