論文の概要: HO-Gaussian: Hybrid Optimization of 3D Gaussian Splatting for Urban Scenes
- arxiv url: http://arxiv.org/abs/2403.20032v1
- Date: Fri, 29 Mar 2024 07:58:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 16:15:12.243472
- Title: HO-Gaussian: Hybrid Optimization of 3D Gaussian Splatting for Urban Scenes
- Title（参考訳）: HO-Gaussian:3次元ガウス平滑化のハイブリッド最適化
- Authors: Zhuopeng Li, Yilin Zhang, Chenming Wu, Jianke Zhu, Liangjun Zhang,
- Abstract要約: 本稿では,グリッドベースボリュームと3DGSパイプラインを組み合わせたHO-Gaussianというハイブリッド最適化手法を提案する。
広範に使用されている自律走行データセットの結果から,HO-Gaussianはマルチカメラ都市データセット上でリアルタイムに写真リアリスティックレンダリングを実現することが示された。
- 参考スコア（独自算出の注目度）: 24.227745405760697
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid growth of 3D Gaussian Splatting (3DGS) has revolutionized neural rendering, enabling real-time production of high-quality renderings. However, the previous 3DGS-based methods have limitations in urban scenes due to reliance on initial Structure-from-Motion(SfM) points and difficulties in rendering distant, sky and low-texture areas. To overcome these challenges, we propose a hybrid optimization method named HO-Gaussian, which combines a grid-based volume with the 3DGS pipeline. HO-Gaussian eliminates the dependency on SfM point initialization, allowing for rendering of urban scenes, and incorporates the Point Densitification to enhance rendering quality in problematic regions during training. Furthermore, we introduce Gaussian Direction Encoding as an alternative for spherical harmonics in the rendering pipeline, which enables view-dependent color representation. To account for multi-camera systems, we introduce neural warping to enhance object consistency across different cameras. Experimental results on widely used autonomous driving datasets demonstrate that HO-Gaussian achieves photo-realistic rendering in real-time on multi-camera urban datasets.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS)の急速な成長は、ニューラルネットワークレンダリングに革命をもたらし、高品質なレンダリングのリアルタイム生産を可能にした。
しかし, 従来の3DGS方式では, 初期のSfM(Structure-from-Motion)点に依存し, 遠隔地, 空地, 低テクスチャエリアのレンダリングが困難であったため, 都市景観に制限がある。
これらの課題を克服するために,グリッドベースボリュームと3DGSパイプラインを組み合わせたHO-Gaussianというハイブリッド最適化手法を提案する。
HO-Gaussianは、SfMポイントの初期化への依存を排除し、都市シーンのレンダリングを可能にし、ポイントデンシフィケーションを組み込んで、トレーニング中の問題領域のレンダリング品質を向上させる。
さらに、レンダリングパイプラインにおける球面調和の代替としてガウス方向符号化を導入し、ビュー依存色表現を可能にした。
マルチカメラシステムのために,異なるカメラ間でのオブジェクトの一貫性を高めるために,ニューラル・ワープを導入する。
広範に使用されている自律走行データセットの実験結果は、HO-Gaussianがマルチカメラ都市データセット上でリアルタイムにフォトリアリスティックレンダリングを実現することを示す。
関連論文リスト
- GaRField++: Reinforced Gaussian Radiance Fields for Large-Scale 3D Scene Reconstruction [1.7624442706463355]
本稿では,3次元ガウススプラッティングに基づく大規模シーン再構築のための新しい枠組みを提案する(3DGS)。
スケーラビリティ問題に対処するため,大規模シーンを複数のセルに分割し,各セルの候補ポイントクラウドとカメラビューとを相関させる。
本研究では,大規模シーン再構成の最先端手法よりも連続的に高忠実度レンダリング結果を生成することを示す。
論文 参考訳（メタデータ） (2024-09-19T13:43:31Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。
本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:07:39Z) - WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T15:17:37Z) - Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians [18.774112672831155]
3D-GSは、NeRFベースのニューラルシーン表現と比較して、顕著なレンダリングの忠実さと効率を示した。
シーン表現のためのレベル・オブ・ディーテール分解をサポートするLOD構造型3次元ガウスアプローチを特徴とするOctree-GSを提案する。
論文 参考訳（メタデータ） (2024-03-26T17:39:36Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-01T09:30:02Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。