論文の概要: Gaussian in the Dark: Real-Time View Synthesis From Inconsistent Dark Images Using Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2408.09130v1
- Date: Sat, 17 Aug 2024 08:05:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 22:25:12.445923
- Title: Gaussian in the Dark: Real-Time View Synthesis From Inconsistent Dark Images Using Gaussian Splatting
- Title（参考訳）: 暗黒におけるガウス的:ガウス的スプレイティングを用いた一貫性のない暗黒画像からのリアルタイムビュー合成
- Authors: Sheng Ye, Zhen-Hui Dong, Yubin Hu, Yu-Hui Wen, Yong-Jin Liu,
- Abstract要約: 3次元ガウススプラッティングは、一貫したマルチビューイメージを入力として、驚くべき新しいビューを合成することができる。
しかし、暗い環境で撮影された画像は、かなりの明るさの変化と多視点の不整合を示す可能性がある。
ゴーストやフローターのアーティファクトを使わずに高品質なレンダリングを実現するガウシアンDKを提案する。
- 参考スコア（独自算出の注目度）: 23.94465817405213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting has recently emerged as a powerful representation that can synthesize remarkable novel views using consistent multi-view images as input. However, we notice that images captured in dark environments where the scenes are not fully illuminated can exhibit considerable brightness variations and multi-view inconsistency, which poses great challenges to 3D Gaussian Splatting and severely degrades its performance. To tackle this problem, we propose Gaussian-DK. Observing that inconsistencies are mainly caused by camera imaging, we represent a consistent radiance field of the physical world using a set of anisotropic 3D Gaussians, and design a camera response module to compensate for multi-view inconsistencies. We also introduce a step-based gradient scaling strategy to constrain Gaussians near the camera, which turn out to be floaters, from splitting and cloning. Experiments on our proposed benchmark dataset demonstrate that Gaussian-DK produces high-quality renderings without ghosting and floater artifacts and significantly outperforms existing methods. Furthermore, we can also synthesize light-up images \dzh{by controlling exposure levels that clearly show details in shadow areas.
- Abstract（参考訳）: 3D Gaussian Splattingは、一貫したマルチビューイメージを入力として、驚くべき新しいビューを合成できる強力な表現として最近登場した。
しかし, シーンが完全に照らされていない暗い環境下で撮影された画像は, 明るさの変動や多視点不整合が顕著であり, 3次元ガウス散乱において大きな課題となり, 性能を著しく低下させる。
この問題に対処するため,ガウスDKを提案する。
不整合は主にカメラ画像によって引き起こされるので、異方性3Dガウスの集合を用いて物理世界の一貫した放射界を表現し、多視点不整合を補うためのカメラ応答モジュールを設計する。
また、カメラ近傍のガウス人を拘束するために、ステップベースの勾配スケーリング戦略を導入する。
提案したベンチマークデータセットを用いて,ゴーストやフローターのアーティファクトを使わずに高品質なレンダリングを実現し,既存の手法を著しく上回ることを示す。
さらに、影領域の詳細をはっきりと示す露光レベルを制御するために、dzh{byというライトアップ画像を合成することもできる。
関連論文リスト
- PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。
単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。
Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2024-06-26T19:37:07Z) - RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。
それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。
様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-30T16:54:59Z) - Z-Splat: Z-Axis Gaussian Splatting for Camera-Sonar Fusion [20.464224937528222]
3Dシーンを再構成するためのコンピュータビジョンとグラフィックにおいて、微分可能な3D-ガウススプラッティング(GS)が顕著な技術として登場している。
GSはよく知られた「抜ける円錐」問題に悩まされており、深さ軸に沿った再建が不十分である。
RGBカメラデータとソナーデータを同時に利用する融合アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-06T17:23:43Z) - Gaussian in the Wild: 3D Gaussian Splatting for Unconstrained Image Collections [12.807052947367692]
制約のない画像における光度変化と過渡オクルーダは、元のシーンを正確に再構築することが困難である。
ニューラルレージアンスフィールド(NeRF)におけるグローバルな外観特徴の導入による課題への先行的アプローチ
この事実に触発されて,3次元ガウス点を用いてシーンを再構築する手法であるGaussian in the wild (GS-W)を提案する。
論文 参考訳（メタデータ） (2024-03-23T03:55:41Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳（メタデータ） (2024-03-18T14:43:04Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
光ガウシアン(LightGaussian)は、3次元ガウシアンをよりコンパクトなフォーマットに変換する方法である。
ネットワーク・プルーニングにインスパイアされたLightGaussianは、ガウシアンをシーン再構築において最小限のグローバルな重要性で特定した。
LightGaussian は 3D-GS フレームワークで FPS を 144 から 237 に上げながら,平均 15 倍の圧縮率を達成する。
論文 参考訳（メタデータ） (2023-11-28T21:39:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。