論文の概要: Street Gaussians for Modeling Dynamic Urban Scenes
- arxiv url: http://arxiv.org/abs/2401.01339v1
- Date: Tue, 2 Jan 2024 18:59:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 13:14:58.481385
- Title: Street Gaussians for Modeling Dynamic Urban Scenes
- Title(参考訳): 動的都市景観のモデル化のための街路ガウス
- Authors: Yunzhi Yan, Haotong Lin, Chenxu Zhou, Weijie Wang, Haiyang Sun, Kun
Zhan, Xianpeng Lang, Xiaowei Zhou, Sida Peng
- Abstract要約: 近年の手法では、車両のアニメーション化に追従した車両のポーズを取り入れてNeRFを拡張し、ダイナミックな街路シーンのリアルなビュー合成を可能にしている。
私たちは、これらの制限に対処する新しい明示的なシーン表現であるStreet Gaussiansを紹介します。
提案手法は,全データセットで常に最先端の手法より優れる。
- 参考スコア(独自算出の注目度): 33.824807872906575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper aims to tackle the problem of modeling dynamic urban street scenes
from monocular videos. Recent methods extend NeRF by incorporating tracked
vehicle poses to animate vehicles, enabling photo-realistic view synthesis of
dynamic urban street scenes. However, significant limitations are their slow
training and rendering speed, coupled with the critical need for high precision
in tracked vehicle poses. We introduce Street Gaussians, a new explicit scene
representation that tackles all these limitations. Specifically, the dynamic
urban street is represented as a set of point clouds equipped with semantic
logits and 3D Gaussians, each associated with either a foreground vehicle or
the background. To model the dynamics of foreground object vehicles, each
object point cloud is optimized with optimizable tracked poses, along with a
dynamic spherical harmonics model for the dynamic appearance. The explicit
representation allows easy composition of object vehicles and background, which
in turn allows for scene editing operations and rendering at 133 FPS
(1066$\times$1600 resolution) within half an hour of training. The proposed
method is evaluated on multiple challenging benchmarks, including KITTI and
Waymo Open datasets. Experiments show that the proposed method consistently
outperforms state-of-the-art methods across all datasets. Furthermore, the
proposed representation delivers performance on par with that achieved using
precise ground-truth poses, despite relying only on poses from an off-the-shelf
tracker. The code is available at https://zju3dv.github.io/street_gaussians/.
- Abstract(参考訳): 本稿では,都会の街並みを単眼映像からモデル化する問題に取り組むことを目的としている。
近年の手法では、車両のアニメーション化に追従した車両のポーズを取り入れてNeRFを拡張し、ダイナミックな街路シーンのリアルなビュー合成を可能にしている。
しかしながら、その低速なトレーニングとレンダリング速度と、トラックされた車両のポーズにおける高精度さの必要性が大きな制限となっている。
私たちは、これらの制限に対処する新しい明示的なシーン表現であるStreet Gaussiansを紹介します。
具体的には、ダイナミック・アーバン・ストリートは、セマンティクス・ロジットと3dガウシアンを備えた点雲の集合として表現され、それぞれが前景の車両または背景に関連付けられている。
前景物体車の動力学をモデル化するために、各物体点雲は、動的外観のための動的球面調和モデルと共に、最適化可能なトラックポーズで最適化される。
明示的な表現は、オブジェクト車両と背景の簡単な合成を可能にし、30分以内のトレーニングで133 FPS (1066$\times$1600 resolution)でのシーン編集操作とレンダリングを可能にする。
提案手法は,kitti と waymo open datasets を含む複数の挑戦ベンチマークで評価した。
実験により,提案手法は,すべてのデータセットにまたがる最先端手法を一貫して上回ることがわかった。
さらに,提案した表現は,市販のトラッカーのポーズにのみ依存するにも関わらず,正確な接地ポーズを用いて達成した結果と同等の性能を提供する。
コードはhttps://zju3dv.github.io/street_gaussians/で入手できる。
関連論文リスト
- AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction [17.600027937450342]
AutoSplatは、自動走行シーンの高度に現実的な再構築を実現するために、ガウシアンスプラッティングを使用したフレームワークである。
本手法は,車線変更を含む課題シナリオの多視点一貫したシミュレーションを可能にする。
論文 参考訳(メタデータ) (2024-07-02T18:36:50Z) - Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。
本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
論文 参考訳(メタデータ) (2024-06-05T12:07:39Z) - $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving [82.82048452755394]
光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。
既存のストリート3DGS法の多くは、静的および動的要素を分解するために、トラックされた3D車両バウンディングボックスを必要とする。
動的および静的な要素を4次元整合性から分解する自己教師付きストリートガウス(textitS3$Gaussian)手法を提案する。
論文 参考訳(メタデータ) (2024-05-30T17:57:08Z) - Multi-Level Neural Scene Graphs for Dynamic Urban Environments [64.26401304233843]
本稿では, 動的都市環境に対する新しい分解可能放射場アプローチを提案する。
本稿では,数百の高速移動物体を含む数十のシーケンスから数千の画像にスケールする多段階ニューラルシーングラフ表現を提案する。
論文 参考訳(メタデータ) (2024-03-29T21:52:01Z) - SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。
この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。
そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
論文 参考訳(メタデータ) (2024-03-29T09:20:29Z) - DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。
動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。
次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。
我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
論文 参考訳(メタデータ) (2023-12-13T06:30:51Z) - Street-View Image Generation from a Bird's-Eye View Layout [95.36869800896335]
近年,Bird's-Eye View (BEV) の知覚が注目されている。
自動運転のためのデータ駆動シミュレーションは、最近の研究の焦点となっている。
本稿では,現実的かつ空間的に一貫した周辺画像を合成する条件生成モデルであるBEVGenを提案する。
論文 参考訳(メタデータ) (2023-01-11T18:39:34Z) - Model-Based Imitation Learning for Urban Driving [26.782783239210087]
MILE: 世界のモデルと自律運転のポリシーを共同で学習するためのモデルに基づくImitation LEarningアプローチを提案する。
本モデルでは, 都市運転データのオフラインコーパスを用いて, 環境とのオンラインインタラクションを伴わない訓練を行った。
我々のアプローチは、都市運転環境における静的シーン、ダイナミックシーン、エゴビヘイビアをモデル化する最初のカメラのみの手法である。
論文 参考訳(メタデータ) (2022-10-14T11:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。