論文の概要: HDRGS: High Dynamic Range Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2408.06543v1
- Date: Tue, 13 Aug 2024 00:32:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 18:56:02.681130
- Title: HDRGS: High Dynamic Range Gaussian Splatting
- Title(参考訳): HDRGS:高ダイナミックレンジガウス平滑化
- Authors: Jiahao Wu, Lu Xiao, Chao Wang, Rui Peng, Kaiqiang Xiong, Ronggang Wang,
- Abstract要約: 本稿では,高品質でリアルタイムな3D再構成技術であるSplattingを紹介する。
上記の課題に対処するために,我々はさらに高ダイナミックレンジ・ガウス・スプレイティング(GS)法を開発した。
本手法は, 合成シナリオと実世界のシナリオの両方において, 現在の最先端技術を超えている。
- 参考スコア(独自算出の注目度): 20.11093579394408
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed substantial advancements in the field of 3D reconstruction from 2D images, particularly following the introduction of the neural radiance field (NeRF) technique. However, reconstructing a 3D high dynamic range (HDR) radiance field, which aligns more closely with real-world conditions, from 2D multi-exposure low dynamic range (LDR) images continues to pose significant challenges. Approaches to this issue fall into two categories: grid-based and implicit-based. Implicit methods, using multi-layer perceptrons (MLP), face inefficiencies, limited solvability, and overfitting risks. Conversely, grid-based methods require significant memory and struggle with image quality and long training times. In this paper, we introduce Gaussian Splatting-a recent, high-quality, real-time 3D reconstruction technique-into this domain. We further develop the High Dynamic Range Gaussian Splatting (HDR-GS) method, designed to address the aforementioned challenges. This method enhances color dimensionality by including luminance and uses an asymmetric grid for tone-mapping, swiftly and precisely converting pixel irradiance to color. Our approach improves HDR scene recovery accuracy and integrates a novel coarse-to-fine strategy to speed up model convergence, enhancing robustness against sparse viewpoints and exposure extremes, and preventing local optima. Extensive testing confirms that our method surpasses current state-of-the-art techniques in both synthetic and real-world scenarios. Code will be released at \url{https://github.com/WuJH2001/HDRGS}
- Abstract(参考訳): 近年,2次元画像からの3次元再構成の分野では,特にNeRF(Near Raddiance Field)技術の導入により,顕著な進歩が見られた。
しかし,2次元マルチ露光低ダイナミックレンジ(LDR)画像からの3次元高ダイナミックレンジ(HDR)放射界の再構成は大きな課題を呈し続けている。
この問題に対するアプローチは、グリッドベースと暗黙ベースの2つのカテゴリに分類される。
多層パーセプトロン(MLP)を用い、顔の不効率、可溶性の制限、過度に適合するリスクがある。
逆に、グリッドベースの手法は大きなメモリを必要とし、画像の品質と長いトレーニング時間に苦労する。
本稿では,近年の高画質リアルタイム3D再構成技術であるガウススプラッティングについて紹介する。
上記の課題に対処するために, ハイダイナミックレンジガウススティング法(HDR-GS)を更に開発する。
輝度を含むことで色寸法性を高め、トーンマッピングに非対称グリッドを用い、画素光を色に迅速かつ正確に変換する。
提案手法は,HDRシーンの再現精度を向上し,モデル収束の高速化,スパース視点や露出極性に対するロバスト性の向上,局所最適化の防止などの新たな戦略を統合する。
拡張テストにより,本手法は,合成シナリオと実世界のシナリオの両方において,現在の最先端技術を上回ることが確認された。
コードは \url{https://github.com/WuJH 2001/HDRGS} でリリースされる。
関連論文リスト
- Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。
3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
論文 参考訳(メタデータ) (2024-11-19T11:59:54Z) - Gaussian Splatting LK [0.11249583407496218]
本稿では,動的ガウススティングフレームワークにおけるネイティブワープフィールドの正規化の可能性について検討する。
フォワードワープフィールドネットワークに固有の知識を利用して解析速度場を導出できることが示される。
このルーカス・カナーデ型解析正規化により,高ダイナミックなシーンを再構成する際の優れた性能を実現することができる。
論文 参考訳(メタデータ) (2024-07-16T01:50:43Z) - A Refined 3D Gaussian Representation for High-Quality Dynamic Scene Reconstruction [2.022451212187598]
近年,Neural Radiance Fields (NeRF) は3次元の3次元再構成に革命をもたらした。
3D Gaussian Splatting (3D-GS)は、ニューラルネットワークの暗黙の表現から離れ、代わりに、シーンを直接ガウス型の分布を持つ点雲として表現している。
本稿では,高品質な動的シーン再構成のための高精細な3次元ガウス表現を提案する。
実験の結果,提案手法は3D-GSによるメモリ使用量を大幅に削減しつつ,レンダリング品質と高速化の既存手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-05-28T07:12:22Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:21:24Z) - BAGS: Blur Agnostic Gaussian Splatting through Multi-Scale Kernel Modeling [32.493592776662005]
様々な画像のぼかしに対するガウススプティングに基づく手法の頑健さを解析する。
この問題に対処するためにBlur Agnostic Gaussian Splatting (BAGS)を提案する。
BAGSは、画像がぼやけているにもかかわらず、3D一貫性と高品質なシーンを再構築できる2Dモデリング能力を導入している。
論文 参考訳(メタデータ) (2024-03-07T22:21:08Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳(メタデータ) (2023-12-02T02:27:58Z) - Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。
DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。
拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
論文 参考訳(メタデータ) (2023-11-02T01:53:55Z) - HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN [0.4606926019499777]
本稿では,ガウス雑音をNeRFアーキテクチャの重みに変換するために,ハイパーネットワークパラダイムを用いたGANアーキテクチャであるHyperNeRFGANを紹介する。
既存の最先端の代替モデルと比較して顕著な単純さにもかかわらず、提案モデルは多様な画像データセットにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2023-01-27T10:21:18Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:59:53Z) - HDR Reconstruction from Bracketed Exposures and Events [12.565039752529797]
高品質なHDR画像の再構成は、現代の計算写真の中心にある。
特徴領域におけるブラケット画像とイベントを融合したマルチモーダルなエンドツーエンド学習型HDRイメージングシステムを提案する。
我々のフレームワークは、スライディングウィンドウを使用して入力イベントストリームをサブサンプリングすることで、イベントの時間分解能を高める。
論文 参考訳(メタデータ) (2022-03-28T15:04:41Z) - Single-Image HDR Reconstruction by Learning to Reverse the Camera
Pipeline [100.5353614588565]
本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。
我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。
提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
論文 参考訳(メタデータ) (2020-04-02T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。