論文の概要: HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2405.15125v4
• Date: Sat, 26 Oct 2024 15:46:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:14:03.015841
• Title: HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting
• Title（参考訳）: HDR-GS: ガウススプラッティングによる1000倍高速高ダイナミックレンジ新規ビュー合成
• Authors: Yuanhao Cai, Zihao Xiao, Yixun Liang, Minghan Qin, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille,
• Abstract要約: 既存のHDR NVS法は主にNeRFに基づいている。 訓練時間は長く、推論速度は遅い。 我々は新しいフレームワークHigh Dynamic Range Gaussian Splatting (-GS)を提案する。
• 参考スコア（独自算出の注目度）: 76.5908492298286
• License:
• Abstract: High dynamic range (HDR) novel view synthesis (NVS) aims to create photorealistic images from novel viewpoints using HDR imaging techniques. The rendered HDR images capture a wider range of brightness levels containing more details of the scene than normal low dynamic range (LDR) images. Existing HDR NVS methods are mainly based on NeRF. They suffer from long training time and slow inference speed. In this paper, we propose a new framework, High Dynamic Range Gaussian Splatting (HDR-GS), which can efficiently render novel HDR views and reconstruct LDR images with a user input exposure time. Specifically, we design a Dual Dynamic Range (DDR) Gaussian point cloud model that uses spherical harmonics to fit HDR color and employs an MLP-based tone-mapper to render LDR color. The HDR and LDR colors are then fed into two Parallel Differentiable Rasterization (PDR) processes to reconstruct HDR and LDR views. To establish the data foundation for the research of 3D Gaussian splatting-based methods in HDR NVS, we recalibrate the camera parameters and compute the initial positions for Gaussian point clouds. Experiments demonstrate that our HDR-GS surpasses the state-of-the-art NeRF-based method by 3.84 and 1.91 dB on LDR and HDR NVS while enjoying 1000x inference speed and only requiring 6.3% training time. Code and recalibrated data will be publicly available at https://github.com/caiyuanhao1998/HDR-GS . A brief video introduction of our work is available at https://youtu.be/wtU7Kcwe7ck
• Abstract（参考訳）: 高ダイナミックレンジ(HDR)新規ビュー合成(NVS)は、HDRイメージング技術を用いて、新しい視点からフォトリアリスティック画像を作成することを目的としている。 レンダリングされたHDR画像は、通常の低ダイナミックレンジ(LDR)画像よりも、シーンの詳細を含む幅広い輝度レベルをキャプチャする。 既存のHDR NVS法は主にNeRFに基づいている。 訓練時間は長く、推論速度は遅い。 本稿では,新しいHDRビューを効率よくレンダリングし,ユーザ入力の露光時間でLDR画像を再構成できる新しいフレームワークであるHigh Dynamic Range Gaussian Splatting (HDR-GS)を提案する。 具体的には、球面調和を利用してHDR色に適合し、MLPベースのトーンマッパーを用いてLDR色を描画するDual Dynamic Range(DDR)ガウス点クラウドモデルを設計する。 HDRとLDRの色は、2つのParallel Differentiable Rasterization(PDR)プロセスに入力され、HDRとLDRのビューを再構成する。 HDR NVSにおける3次元ガウススプラッティング法の研究のためのデータ基盤を確立するために,カメラパラメータを再検討し,ガウス点雲の初期位置を計算する。 実験の結果,我々のHDR-GSはLDRおよびHDR NVSの3.84dBと1.91dBを上回り,1000倍の推論速度と6.3%のトレーニング時間しか必要としないことがわかった。 コードと校正されたデータはhttps://github.com/caiyuanhao1998/HDR-GSで公開される。 私たちの作品の簡単なビデオ紹介はhttps://youtu.be/wtU7Kcwe7ckで公開されている。

関連論文リスト

• Diffusion-Promoted HDR Video Reconstruction [45.73396977607666]
  高ダイナミックレンジ(LDR)ビデオ再構成は、低ダイナミックレンジ(LDR)フレームから交互に露出したHDRビデオを生成することを目的としている。 既存の作品の多くは回帰に基づくパラダイムにのみ依存しており、ゴーストのアーティファクトや飽和した地域での詳細の欠如といった悪影響につながっている。 本稿では,HDR-V-Diffと呼ばれるHDR映像再構成のための拡散促進手法を提案する。
  論文  参考訳（メタデータ） (2024-06-12T13:38:10Z)
• Fast High Dynamic Range Radiance Fields for Dynamic Scenes [39.3304365600248]
  我々はHDR-HexPlaneという動的HDR NeRFフレームワークを提案し、様々な露出で捉えた動的2D画像から3Dシーンを学習する。 提案したモデルでは、任意の時点における高品質なノベルビュー画像を、望まれる露光でレンダリングすることができる。
  論文  参考訳（メタデータ） (2024-01-11T17:15:16Z)
• Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
  そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。 実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-26T08:10:22Z)
• Efficient HDR Reconstruction from Real-World Raw Images [16.54071503000866]
  エッジデバイス上の高解像度スクリーンは、効率的な高ダイナミックレンジ(HDR)アルゴリズムに対する強い需要を刺激する。 多くの既存のHDRメソッドは不満足な結果をもたらすか、計算資源やメモリ資源を消費する。 本研究では,生画像から直接HDRを再構成し,新しいニューラルネットワーク構造を探索する優れた機会を見出した。
  論文  参考訳（メタデータ） (2023-06-17T10:10:15Z)
• HDR Video Reconstruction with a Large Dynamic Dataset in Raw and sRGB Domains [23.309488653045026]
  高ダイナミックレンジ(HDR)ビデオ再構成は、低ダイナミックレンジ(LDR)ビデオと比較して視覚的品質が優れているため、ますます注目を集めている。 同時にLDRフレームを取得するのが難しいため、動的シーンのための実際のLDR-ペアはいまだに存在しない。 本研究では,2つの異なる露光画像を同時にキャプチャするスタッガーセンサを用いて,生領域とsRGB領域のHDRフレームに融合する手法を提案する。
  論文  参考訳（メタデータ） (2023-04-10T11:59:03Z)
• GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
  そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。 鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。 実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
  論文  参考訳（メタデータ） (2022-11-22T15:42:08Z)
• HDR-NeRF: High Dynamic Range Neural Radiance Fields [70.80920996881113]
  我々は、低ダイナミックレンジ(LDR)ビューの集合からHDR放射界を異なる露光で復元するために、高ダイナミックレンジニューラルレイディアンス場(-NeRF)を提案する。 異なる露出下で、新しいHDRビューと新しいLDRビューの両方を生成することができる。
  論文  参考訳（メタデータ） (2021-11-29T11:06:39Z)
• HDR Video Reconstruction: A Coarse-to-fine Network and A Real-world Benchmark Dataset [30.249052175655606]
  HDRビデオ再構築のための粗い深層学習フレームワークを紹介します。 まず,画像空間において粗いアライメントとピクセルブレンドを行い,粗いhdr映像を推定する。 第二に、粗いHDRビデオの特徴空間でより洗練されたアライメントと時間融合を行い、より良い再構築を実現します。
  論文  参考訳（メタデータ） (2021-03-27T16:40:05Z)
• Beyond Visual Attractiveness: Physically Plausible Single Image HDR Reconstruction for Spherical Panoramas [60.24132321381606]
  我々は,単発hdr再構成フレームワークに物理的照度制約を導入する。 本手法は,視覚に訴えるだけでなく,物理的に妥当なHDRを生成することができる。
  論文  参考訳（メタデータ） (2021-03-24T01:51:19Z)
• HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with Large Motions [62.44802076971331]
  マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。 本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
  論文  参考訳（メタデータ） (2020-07-03T11:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。