論文の概要: Dynamic 3D Gaussian Fields for Urban Areas

• arxiv url: http://arxiv.org/abs/2406.03175v2
• Date: Sat, 23 Nov 2024 13:09:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:15:35.008462
• Title: Dynamic 3D Gaussian Fields for Urban Areas
• Title（参考訳）: 都市域における動的3次元ガウス場
• Authors: Tobias Fischer, Jonas Kulhanek, Samuel Rota Bulò, Lorenzo Porzi, Marc Pollefeys, Peter Kontschieder,
• Abstract要約: 大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
• 参考スコア（独自算出の注目度）: 60.64840836584623
• License:
• Abstract: We present an efficient neural 3D scene representation for novel-view synthesis (NVS) in large-scale, dynamic urban areas. Existing works are not well suited for applications like mixed-reality or closed-loop simulation due to their limited visual quality and non-interactive rendering speeds. Recently, rasterization-based approaches have achieved high-quality NVS at impressive speeds. However, these methods are limited to small-scale, homogeneous data, i.e. they cannot handle severe appearance and geometry variations due to weather, season, and lighting and do not scale to larger, dynamic areas with thousands of images. We propose 4DGF, a neural scene representation that scales to large-scale dynamic urban areas, handles heterogeneous input data, and substantially improves rendering speeds. We use 3D Gaussians as an efficient geometry scaffold while relying on neural fields as a compact and flexible appearance model. We integrate scene dynamics via a scene graph at global scale while modeling articulated motions on a local level via deformations. This decomposed approach enables flexible scene composition suitable for real-world applications. In experiments, we surpass the state-of-the-art by over 3 dB in PSNR and more than 200 times in rendering speed.
• Abstract（参考訳）: 大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 既存の作品は、視覚的品質や非インタラクティブなレンダリング速度に制限があるため、混合現実性や閉ループシミュレーションのようなアプリケーションには適していない。 近年、ラスタライズベースのアプローチは、印象的な速度で高品質なNVSを実現している。 しかし、これらの手法は小規模で均質なデータに限られており、気象、季節、照明などによる厳密な外観や幾何学的な変化には対応できず、何千もの画像を持つ大規模でダイナミックな領域にも拡張できない。 本研究では,大規模都市に拡大し,異種入力データを処理し,レンダリング速度を大幅に向上するニューラルネットワークシーン表現である4DGFを提案する。 我々は、コンパクトで柔軟な外観モデルとして、ニューラルネットワークを頼りながら、3Dガウスを効率的な幾何学的足場として利用する。 局所的な動きを変形によってモデル化しながら,世界規模でシーングラフを通してシーンダイナミクスを統合する。 この分解されたアプローチは、現実のアプリケーションに適した柔軟なシーン構成を可能にする。 実験では,PSNRでは3dB以上,レンダリング速度は200倍以上に向上した。

関連論文リスト

• DENSER: 3D Gaussians Splatting for Scene Reconstruction of Dynamic Urban Environments [0.0]
  動的オブジェクトの表現を大幅に強化するフレームワークであるDENSERを提案する。 提案手法は最先端の手法を広いマージンで大幅に上回る。
  論文  参考訳（メタデータ） (2024-09-16T07:11:58Z)
• Multi-Level Neural Scene Graphs for Dynamic Urban Environments [64.26401304233843]
  本稿では, 動的都市環境に対する新しい分解可能放射場アプローチを提案する。 本稿では,数百の高速移動物体を含む数十のシーケンスから数千の画像にスケールする多段階ニューラルシーングラフ表現を提案する。
  論文  参考訳（メタデータ） (2024-03-29T21:52:01Z)
• HO-Gaussian: Hybrid Optimization of 3D Gaussian Splatting for Urban Scenes [24.227745405760697]
  本稿では,グリッドベースボリュームと3DGSパイプラインを組み合わせたHO-Gaussianというハイブリッド最適化手法を提案する。 広範に使用されている自律走行データセットの結果から,HO-Gaussianはマルチカメラ都市データセット上でリアルタイムに写真リアリスティックレンダリングを実現することが示された。
  論文  参考訳（メタデータ） (2024-03-29T07:58:21Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis [28.455719771979876]
  本研究では,新しい動的シーン表現として時空間ガウス特徴分割法を提案する。 本手法は,小型ストレージを維持しながら,最先端のレンダリング品質と高速化を実現する。
  論文  参考訳（メタデータ） (2023-12-28T04:14:55Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction [29.83056271799794]
  暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。 微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
  論文  参考訳（メタデータ） (2023-09-22T16:04:02Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。