論文の概要: Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2401.01339v3
• Date: Sun, 18 Aug 2024 14:26:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 03:57:15.604709
• Title: Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting
• Title（参考訳）: ストリートガウシアン:ガウシアンスプレイティングによる動的都市景観のモデル化
• Authors: Yunzhi Yan, Haotong Lin, Chenxu Zhou, Weijie Wang, Haiyang Sun, Kun Zhan, Xianpeng Lang, Xiaowei Zhou, Sida Peng,
• Abstract要約: 近年の手法では、走行中の車両のポーズをアニメーションに取り入れてNeRFを拡張し、ダイナミックな街路シーンのリアルな視認を可能にしている。 この制限に対処する新たな明示的なシーン表現であるStreet Gaussiansを紹介します。 提案手法は,全データセットで常に最先端の手法より優れる。
• 参考スコア（独自算出の注目度）: 32.59889755381453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims to tackle the problem of modeling dynamic urban streets for autonomous driving scenes. Recent methods extend NeRF by incorporating tracked vehicle poses to animate vehicles, enabling photo-realistic view synthesis of dynamic urban street scenes. However, significant limitations are their slow training and rendering speed. We introduce Street Gaussians, a new explicit scene representation that tackles these limitations. Specifically, the dynamic urban scene is represented as a set of point clouds equipped with semantic logits and 3D Gaussians, each associated with either a foreground vehicle or the background. To model the dynamics of foreground object vehicles, each object point cloud is optimized with optimizable tracked poses, along with a 4D spherical harmonics model for the dynamic appearance. The explicit representation allows easy composition of object vehicles and background, which in turn allows for scene editing operations and rendering at 135 FPS (1066 $\times$ 1600 resolution) within half an hour of training. The proposed method is evaluated on multiple challenging benchmarks, including KITTI and Waymo Open datasets. Experiments show that the proposed method consistently outperforms state-of-the-art methods across all datasets. The code will be released to ensure reproducibility.
• Abstract（参考訳）: 本稿では,自律走行シーンの動的街路をモデル化する問題に取り組むことを目的とする。 近年の手法では、車両のアニメーション化に追従した車両のポーズを取り入れてNeRFを拡張し、ダイナミックな街路シーンの写実的なビュー合成を可能にしている。 しかし、トレーニングの遅さとレンダリングのスピードには大きな制限がある。 この制限に対処する新たな明示的なシーン表現であるStreet Gaussiansを紹介します。 具体的には、ダイナミックアーバンシーンは、セマンティックロジットと3Dガウスアンを備えた点雲の集合として表現され、それぞれが前景車両または背景に関連付けられている。 前景の物体車両の動力学をモデル化するために、各物体点雲は、動的外観のための4次元球面調和モデルとともに、最適化可能な追跡されたポーズで最適化される。 明示的な表現は、オブジェクト車両と背景の簡単な構成を可能にし、30分以内のトレーニングで、シーン編集操作とレンダリングを135 FPS (1066$\times$1600 resolution)で行うことができる。 提案手法は、KITTIやWaymo Openデータセットなど、複数の挑戦的なベンチマークで評価される。 実験の結果,提案手法はすべてのデータセットで常に最先端の手法よりも優れていた。 再現性を確保するために、コードはリリースされます。

関連論文リスト

• EMD: Explicit Motion Modeling for High-Quality Street Gaussian Splatting [22.590036750925627]
  ストリートシーンの光現実的再構築は、自動運転における実世界のシミュレータの開発に不可欠である。 3D/4Dガウス散乱(GS)に基づく最近の手法は有望な結果を示したが、動的物体の予測不可能な動きのため、複雑な街路シーンではまだ課題に直面している。 本稿では,ガウス人に学習可能な動作埋め込みを導入することで,動的物体の運動をモデル化するEMD(Explicit Motion Decomposition)を提案する。
  論文  参考訳（メタデータ） (2024-11-23T15:10:04Z)
• DENSER: 3D Gaussians Splatting for Scene Reconstruction of Dynamic Urban Environments [0.0]
  動的オブジェクトの表現を大幅に強化するフレームワークであるDENSERを提案する。 提案手法は最先端の手法を広いマージンで大幅に上回る。
  論文  参考訳（メタデータ） (2024-09-16T07:11:58Z)
• OmniRe: Omni Urban Scene Reconstruction [78.99262488964423]
  デバイス上でのログから高忠実度な都市景観を効率的に再構築するための総合的アプローチであるOmniReを紹介する。 我々はOmniReという名前のシーンを駆動するための総合的な3DGSフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-29T17:56:33Z)
• AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction [17.600027937450342]
  AutoSplatは、自動走行シーンの高度に現実的な再構築を実現するために、ガウシアンスプラッティングを使用したフレームワークである。 本手法は,車線変更を含む課題シナリオの多視点一貫したシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2024-07-02T18:36:50Z)
• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving [82.82048452755394]
  光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。 既存のストリート3DGS法の多くは、静的および動的要素を分解するために、トラックされた3D車両バウンディングボックスを必要とする。 動的および静的な要素を4次元整合性から分解する自己教師付きストリートガウス(textitS3$Gaussian)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T17:57:08Z)
• Multi-Level Neural Scene Graphs for Dynamic Urban Environments [64.26401304233843]
  本稿では, 動的都市環境に対する新しい分解可能放射場アプローチを提案する。 本稿では,数百の高速移動物体を含む数十のシーケンスから数千の画像にスケールする多段階ニューラルシーングラフ表現を提案する。
  論文  参考訳（メタデータ） (2024-03-29T21:52:01Z)
• DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
  我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。 動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。 次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。 我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
  論文  参考訳（メタデータ） (2023-12-13T06:30:51Z)
• Street-View Image Generation from a Bird's-Eye View Layout [95.36869800896335]
  近年,Bird's-Eye View (BEV) の知覚が注目されている。 自動運転のためのデータ駆動シミュレーションは、最近の研究の焦点となっている。 本稿では,現実的かつ空間的に一貫した周辺画像を合成する条件生成モデルであるBEVGenを提案する。
  論文  参考訳（メタデータ） (2023-01-11T18:39:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。