論文の概要: WeatherGS: 3D Scene Reconstruction in Adverse Weather Conditions via Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2412.18862v2
- Date: Mon, 30 Dec 2024 05:47:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-31 12:42:39.704150
- Title: WeatherGS: 3D Scene Reconstruction in Adverse Weather Conditions via Gaussian Splatting
- Title（参考訳）: 気象探査:ガウススプラッティングによる逆気象条件における3次元景観復元
- Authors: Chenghao Qian, Yuhu Guo, Wenjing Li, Gustav Markkula,
- Abstract要約: WeatherGSは3DGSベースのフレームワークで、異なる気象条件下でのマルチビュー画像から鮮明なシーンを再構築する。
本研究では,高密度粒子を大気効果フィルタで逐次除去するプロセス前処理手法を提案する。
最後に,処理した画像を用いて3次元ガウスの集合を訓練し,隠蔽領域を除外するためのマスクを生成する。
- 参考スコア（独自算出の注目度）: 5.240297013713328
- License:
- Abstract: 3D Gaussian Splatting (3DGS) has gained significant attention for 3D scene reconstruction, but still suffers from complex outdoor environments, especially under adverse weather. This is because 3DGS treats the artifacts caused by adverse weather as part of the scene and will directly reconstruct them, largely reducing the clarity of the reconstructed scene. To address this challenge, we propose WeatherGS, a 3DGS-based framework for reconstructing clear scenes from multi-view images under different weather conditions. Specifically, we explicitly categorize the multi-weather artifacts into the dense particles and lens occlusions that have very different characters, in which the former are caused by snowflakes and raindrops in the air, and the latter are raised by the precipitation on the camera lens. In light of this, we propose a dense-to-sparse preprocess strategy, which sequentially removes the dense particles by an Atmospheric Effect Filter (AEF) and then extracts the relatively sparse occlusion masks with a Lens Effect Detector (LED). Finally, we train a set of 3D Gaussians by the processed images and generated masks for excluding occluded areas, and accurately recover the underlying clear scene by Gaussian splatting. We conduct a diverse and challenging benchmark to facilitate the evaluation of 3D reconstruction under complex weather scenarios. Extensive experiments on this benchmark demonstrate that our WeatherGS consistently produces high-quality, clean scenes across various weather scenarios, outperforming existing state-of-the-art methods. See project page:https://jumponthemoon.github.io/weather-gs.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は3Dシーンの再構築に注目されているが、それでも複雑な屋外環境、特に悪天候に悩まされている。
これは、3DGSが悪天候によって引き起こされた遺物を現場の一部として処理し、直接再建し、再建されたシーンの明瞭さを大幅に減らすためである。
この課題に対処するために,気象条件の異なるマルチビュー画像から鮮明なシーンを再構成する3DGSベースのフレームワークであるWeatherGSを提案する。
具体的には、マルチウェザーアーティファクトを、非常に異なる特徴を持つ高密度粒子とレンズ閉塞物に明確に分類し、前者は、空気中の雪片や雨滴によって引き起こされ、後者は、カメラレンズの降水によって引き起こされる。
そこで本研究では,大気効果フィルタ(AEF)により高密度粒子を逐次除去し,レンズエフェクト検出器(LED)を用いて比較的スパースなオクルージョンマスクを抽出する,高密度・スパース前処理戦略を提案する。
最後に,処理した画像を用いて3次元ガウシアンの集合を訓練し,隠蔽領域を除外するマスクを生成し,ガウシアンスプラッティングにより基礎となるクリアシーンを正確に復元する。
複雑な気象シナリオ下での3次元再構成の評価を容易にするために,多種多様かつ挑戦的なベンチマークを実施している。
このベンチマークによる大規模な実験により、WeatherGSはさまざまな気象シナリオで高品質でクリーンなシーンを連続的に生成し、既存の最先端の手法よりも優れています。
プロジェクトページ:https://jumponthemoon.github.io/weather-gs.comを参照。
関連論文リスト
- EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - Dense Point Clouds Matter: Dust-GS for Scene Reconstruction from Sparse Viewpoints [9.069919085326]
3D Gaussian Splatting (3DGS) はシーン合成および新しいビュー合成タスクにおいて顕著な性能を示した。
本研究では,スパース視点条件下での3DGSの限界を克服する新しいフレームワークであるDust-GSを提案する。
論文 参考訳（メタデータ） (2024-09-13T07:59:15Z) - DeRainGS: Gaussian Splatting for Enhanced Scene Reconstruction in Rainy Environments [4.86090922870914]
本研究では, 降雨環境における3次元再構築の課題について紹介する(3DRRE)。
このタスクをベンチマークするために、合成画像と実世界のシーン画像の両方の多様なコレクションからなるHydroViewsデータセットを構築した。
降雨環境の復元に適した3DGS法であるDeRainGSを提案する。
論文 参考訳（メタデータ） (2024-08-21T11:39:18Z) - EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images [36.91327728871551]
3次元ガウススプラッティング(3D-GS)は、3次元シーン再構成と新しいビュー合成において例外的な機能を示した。
本稿では,イベントストリーム支援型ガウシアンスプラッティング(EvaGaussians)について紹介する。これは,イベントカメラがキャプチャしたイベントストリームを統合して,ぼやけた画像から高品質な3D-GSを再構築する手法である。
論文 参考訳（メタデータ） (2024-05-29T04:59:27Z) - Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。
SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。
提案手法は,9つの入力ビューから360度映像全体を生成する。
論文 参考訳（メタデータ） (2024-05-26T11:01:39Z) - Gaussian in the Wild: 3D Gaussian Splatting for Unconstrained Image Collections [12.807052947367692]
制約のない画像における光度変化と過渡オクルーダは、元のシーンを正確に再構築することが困難である。
ニューラルレージアンスフィールド(NeRF)におけるグローバルな外観特徴の導入による課題への先行的アプローチ
この事実に触発されて,3次元ガウス点を用いてシーンを再構築する手法であるGaussian in the wild (GS-W)を提案する。
論文 参考訳（メタデータ） (2024-03-23T03:55:41Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳（メタデータ） (2024-03-18T14:43:04Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural
Rendering [83.75284107397003]
本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。
本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。
マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-05-03T13:24:06Z) - GAUDI: A Neural Architect for Immersive 3D Scene Generation [67.97817314857917]
GAUDIは、動くカメラから没入的にレンダリングできる複雑な3Dシーンの分布をキャプチャできる生成モデルである。
GAUDIは,複数のデータセットにまたがる非条件生成環境において,最先端の性能が得られることを示す。
論文 参考訳（メタデータ） (2022-07-27T19:10:32Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳（メタデータ） (2021-11-29T15:58:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。