論文の概要: Lighting Every Darkness with 3DGS: Fast Training and Real-Time Rendering for HDR View Synthesis
- arxiv url: http://arxiv.org/abs/2406.06216v1
- Date: Mon, 10 Jun 2024 12:33:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 14:07:44.217310
- Title: Lighting Every Darkness with 3DGS: Fast Training and Real-Time Rendering for HDR View Synthesis
- Title（参考訳）: 3DGSによる暗黒の照明:HDRビュー合成のための高速トレーニングとリアルタイムレンダリング
- Authors: Xin Jin, Pengyi Jiao, Zheng-Peng Duan, Xingchao Yang, Chun-Le Guo, Bo Ren, Chongyi Li,
- Abstract要約: ボリュームレンダリングに基づく手法は、特に夜間シーンにおいてRAWimagesからのHDRビュー合成に優れる。
長いトレーニング時間に悩まされており、サンプリング要求が密集しているためリアルタイムレンダリングを行うことができない。
3D Gaussian Splatting(3DGS)の登場により、リアルタイムレンダリングと高速なトレーニングが可能になる。
これらの設計により、LE3Dはリアルタイムのノベルビュー合成、HDRレンダリング、リフォーカス、トーンマッピングなどを行うことができる。
- 参考スコア（独自算出の注目度）: 35.81034036380374
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Volumetric rendering based methods, like NeRF, excel in HDR view synthesis from RAWimages, especially for nighttime scenes. While, they suffer from long training times and cannot perform real-time rendering due to dense sampling requirements. The advent of 3D Gaussian Splatting (3DGS) enables real-time rendering and faster training. However, implementing RAW image-based view synthesis directly using 3DGS is challenging due to its inherent drawbacks: 1) in nighttime scenes, extremely low SNR leads to poor structure-from-motion (SfM) estimation in distant views; 2) the limited representation capacity of spherical harmonics (SH) function is unsuitable for RAW linear color space; and 3) inaccurate scene structure hampers downstream tasks such as refocusing. To address these issues, we propose LE3D (Lighting Every darkness with 3DGS). Our method proposes Cone Scatter Initialization to enrich the estimation of SfM, and replaces SH with a Color MLP to represent the RAW linear color space. Additionally, we introduce depth distortion and near-far regularizations to improve the accuracy of scene structure for downstream tasks. These designs enable LE3D to perform real-time novel view synthesis, HDR rendering, refocusing, and tone-mapping changes. Compared to previous volumetric rendering based methods, LE3D reduces training time to 1% and improves rendering speed by up to 4,000 times for 2K resolution images in terms of FPS. Code and viewer can be found in https://github.com/Srameo/LE3D .
- Abstract（参考訳）: NeRFのようなボリュームレンダリングベースの手法は、特に夜間シーンにおいてRAWimagesからのHDRビュー合成に優れる。
一方、長いトレーニング時間に悩まされており、サンプリング要求が密集しているためリアルタイムレンダリングを行うことができない。
3D Gaussian Splatting(3DGS)の登場により、リアルタイムレンダリングと高速なトレーニングが可能になる。
しかし、3DGSを直接利用するRAW画像ベースビュー合成の実装は、固有の欠点のために困難である。
1)夜間のシーンでは、非常に低いSNRは、遠方からの視点でのSfM(Structure-from-motion)推定に繋がる。
2)球面調和関数(SH)の限られた表現能力はRAW線色空間には適さない。
3)不正確なシーン構造は、リフォーカスのような下流のタスクをハマーする。
これらの問題に対処するため、LE3D (Lighting Every Dark with 3DGS)を提案する。
提案手法は,SfMの推定をリッチにするためにコーン散乱初期化を提案し,RAW線形色空間を表すためにSHをカラーMLPに置き換える。
さらに,下流タスクのシーン構造を精度良くするために,深度歪みとニアファスト正規化を導入する。
これらの設計により、LE3Dはリアルタイムのノベルビュー合成、HDRレンダリング、リフォーカス、トーンマッピングなどを行うことができる。
従来のボリュームレンダリングベースの手法と比較して、LE3Dはトレーニング時間を1%に短縮し、2K解像度画像のFPSで最大4,000倍のレンダリング速度を改善する。
コードとビューアはhttps://github.com/Srameo/LE3D で確認できる。
関連論文リスト
- EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。
3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。
本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
論文 参考訳（メタデータ） (2024-10-02T17:59:09Z) - HDRSplat: Gaussian Splatting for High Dynamic Range 3D Scene Reconstruction from Raw Images [14.332077246864628]
3D Gaussian Splatting(3DGS)は、3Dシーンの再現空間に革命をもたらし、高忠実なノベルビューをリアルタイムで実現した。
しかし,従来の3DGS法とNeRF法では8ビットトーンマップの低ダイナミックレンジ画像がシーン再構成に利用されている。
提案手法は,14ビットの直線的原像を暗黒付近で直接トレーニングし,シーンの全ダイナミックレンジと内容を保存する。
論文 参考訳（メタデータ） (2024-07-23T14:21:00Z) - Gaussian Time Machine: A Real-Time Rendering Methodology for Time-Variant Appearances [10.614750331310804]
軽量マルチ層パーセプトロン(MLP)で復号された離散時間埋め込みベクトルを持つガウス原始体の時間依存特性をモデル化したガウス時機械(GTM)を提案する。
GTMは3つのデータセットで最先端のレンダリングフィリティを達成し、レンダリングにおけるNeRFベースのレンダリングよりも100倍高速である。
論文 参考訳（メタデータ） (2024-05-22T14:40:42Z) - Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-05T19:00:45Z) - Deblurring 3D Gaussian Splatting [7.315329140016319]
MLP(Multi-Layer Perceptron)を用いた3次元ガウス平滑化のための新しいリアルタイムデブロアリングフレームワークを提案する。
Deblurring 3D Gaussian Splattingはリアルタイムレンダリングを楽しめるが、ぼやけた画像から細かで鋭いディテールを再構築することができる。
論文 参考訳（メタデータ） (2024-01-01T18:23:51Z) - 3D Gaussian Splatting for Real-Time Radiance Field Rendering [4.320393382724066]
競争力のあるトレーニング時間を維持しながら、最先端の視覚的品質を達成するための3つの重要な要素を紹介します。
いくつかの確立したデータセット上で、最先端の視覚的品質とリアルタイムレンダリングを実証する。
論文 参考訳（メタデータ） (2023-08-08T06:37:06Z) - Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。
一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。
提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文 参考訳（メタデータ） (2023-05-03T17:56:01Z) - 3D Scene Creation and Rendering via Rough Meshes: A Lighting Transfer Avenue [49.62477229140788]
本稿では,再構成された3Dモデルを3Dシーン作成やレンダリングなどの実用的な3Dモデリングパイプラインに柔軟に統合する方法について述べる。
我々はNFRとPBRを橋渡しする照明伝達ネットワーク(LighTNet)を提案する。
論文 参考訳（メタデータ） (2022-11-27T13:31:00Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳（メタデータ） (2021-10-29T10:53:12Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T15:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。