論文の概要: From Chaos to Clarity: 3DGS in the Dark
- arxiv url: http://arxiv.org/abs/2406.08300v1
- Date: Wed, 12 Jun 2024 15:00:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 16:26:24.108702
- Title: From Chaos to Clarity: 3DGS in the Dark
- Title(参考訳): ChaosからClarityへ:3DGSは暗闇の中で
- Authors: Zhihao Li, Yufei Wang, Alex Kot, Bihan Wen,
- Abstract要約: 未処理の生画像のノイズは、3次元シーン表現の精度を損なう。
3D Gaussian Splatting (3DGS)はこのノイズに特に影響を受けやすい。
ノイズの多い生画像からHDR 3DGSを再構成するための,新しい自己教師型学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 28.232432162734437
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Novel view synthesis from raw images provides superior high dynamic range (HDR) information compared to reconstructions from low dynamic range RGB images. However, the inherent noise in unprocessed raw images compromises the accuracy of 3D scene representation. Our study reveals that 3D Gaussian Splatting (3DGS) is particularly susceptible to this noise, leading to numerous elongated Gaussian shapes that overfit the noise, thereby significantly degrading reconstruction quality and reducing inference speed, especially in scenarios with limited views. To address these issues, we introduce a novel self-supervised learning framework designed to reconstruct HDR 3DGS from a limited number of noisy raw images. This framework enhances 3DGS by integrating a noise extractor and employing a noise-robust reconstruction loss that leverages a noise distribution prior. Experimental results show that our method outperforms LDR/HDR 3DGS and previous state-of-the-art (SOTA) self-supervised and supervised pre-trained models in both reconstruction quality and inference speed on the RawNeRF dataset across a broad range of training views. Code can be found in \url{https://lizhihao6.github.io/Raw3DGS}.
- Abstract(参考訳): 低ダイナミックレンジRGB画像の再構成に比べて、原画像からの新たなビュー合成は、優れたハイダイナミックレンジ(HDR)情報を提供する。
しかし、未処理の生画像の固有ノイズは、3Dシーン表現の精度を損なう。
以上の結果から,3次元ガウス散乱(3DGS)は特にこのノイズの影響を受けやすいことが判明した。
これらの課題に対処するために,HDR 3DGSをノイズの多い生画像から再構成する,新たな自己教師型学習フレームワークを提案する。
このフレームワークは、ノイズ抽出器を統合し、騒音分布を予め活用したノイズ-ロバスト再構成損失を利用することで、3DGSを強化する。
実験の結果,LawNeRFデータセットの再構成品質と推論速度の両面において,LDR/HDR 3DGSおよび従来のSOTA(State-of-the-art)モデルよりも優れた性能を示した。
コードは \url{https://lizhihao6.github.io/Raw3DGS} にある。
関連論文リスト
- Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。
提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
論文 参考訳(メタデータ) (2024-07-17T04:02:54Z) - WildGaussians: 3D Gaussian Splatting in the Wild [80.5209105383932]
3DGSによる閉塞や外見の変化に対処する新しいアプローチであるWildGaussiansを紹介した。
我々はWildGaussianが3DGSとNeRFのベースラインを越えながら3DGSのリアルタイムレンダリング速度と一致していることを示す。
論文 参考訳(メタデータ) (2024-07-11T12:41:32Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳(メタデータ) (2024-06-14T17:53:55Z) - A Refined 3D Gaussian Representation for High-Quality Dynamic Scene Reconstruction [2.022451212187598]
近年,Neural Radiance Fields (NeRF) は3次元の3次元再構成に革命をもたらした。
3D Gaussian Splatting (3D-GS)は、ニューラルネットワークの暗黙の表現から離れ、代わりに、シーンを直接ガウス型の分布を持つ点雲として表現している。
本稿では,高品質な動的シーン再構成のための高精細な3次元ガウス表現を提案する。
実験の結果,提案手法は3D-GSによるメモリ使用量を大幅に削減しつつ,レンダリング品質と高速化の既存手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-05-28T07:12:22Z) - NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising [23.876281686625134]
我々は,高精度で密度の高い深度推定,ロバストなカメラトラッキング,新しいビューの現実的な合成を実現するフレームワークNeSLAMを提案する。
各種屋内データセットを用いた実験は、再構築、品質追跡、新しいビュー合成におけるシステムの有効性と精度を示す。
論文 参考訳(メタデータ) (2024-03-29T07:59:37Z) - GaussianDiffusion: 3D Gaussian Splatting for Denoising Diffusion
Probabilistic Models with Structured Noise [0.0]
本稿では,ガウススプラッティングに基づく3次元コンテンツ生成フレームワークについて紹介する。
我々は3次元ガウススプラッティングによって生成された摂動画像にマルチビューノイズ分布を用いる。
我々の知る限り,本手法は3次元コンテンツ生成プロセスの全領域にわたるガウススプラッティングの包括的利用が初めてである。
論文 参考訳(メタデータ) (2023-11-19T04:26:16Z) - Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。
DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。
拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
論文 参考訳(メタデータ) (2023-11-02T01:53:55Z) - Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis [148.16279746287452]
本研究では,残差畳み込み層の局所モデリング能力とスウィントランスブロックの非局所モデリング能力を組み込むスウィンコンブブロックを提案する。
トレーニングデータ合成のために,異なる種類のノイズを考慮した実用的なノイズ劣化モデルの設計を行う。
AGWN除去と実画像復号化の実験は、新しいネットワークアーキテクチャ設計が最先端の性能を達成することを実証している。
論文 参考訳(メタデータ) (2022-03-24T18:11:31Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳(メタデータ) (2021-11-29T15:58:16Z) - SAR Image Despeckling Based on Convolutional Denoising Autoencoder [13.579420996461439]
SAR(Synthetic Aperture Radar)イメージングでは、画像解析において非特異性が非常に重要である。
本稿では,C-DAE(Convolutioal Denoising Autoencoder)を用いて,スペックルフリーなSAR画像の再構成を行う。
論文 参考訳(メタデータ) (2020-11-30T09:02:25Z) - CycleISP: Real Image Restoration via Improved Data Synthesis [166.17296369600774]
本稿では,前向きと逆方向のカメラ画像パイプラインをモデル化するフレームワークを提案する。
リアルな合成データに基づいて新しい画像認識ネットワークをトレーニングすることにより、実際のカメラベンチマークデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-03-17T15:20:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。