論文の概要: HDRSplat: Gaussian Splatting for High Dynamic Range 3D Scene Reconstruction from Raw Images

• arxiv url: http://arxiv.org/abs/2407.16503v1
• Date: Tue, 23 Jul 2024 14:21:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 17:06:21.145154
• Title: HDRSplat: Gaussian Splatting for High Dynamic Range 3D Scene Reconstruction from Raw Images
• Title（参考訳）: HDRSplat:RAW画像からの高ダイナミックレンジ3次元シーン再構成のためのガウススプラッティング
• Authors: Shreyas Singh, Aryan Garg, Kaushik Mitra,
• Abstract要約: 3D Gaussian Splatting(3DGS)は、3Dシーンの再現空間に革命をもたらし、高忠実なノベルビューをリアルタイムで実現した。 しかし,従来の3DGS法とNeRF法では8ビットトーンマップの低ダイナミックレンジ画像がシーン再構成に利用されている。 提案手法は,14ビットの直線的原像を暗黒付近で直接トレーニングし,シーンの全ダイナミックレンジと内容を保存する。
• 参考スコア（独自算出の注目度）: 14.332077246864628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent advent of 3D Gaussian Splatting (3DGS) has revolutionized the 3D scene reconstruction space enabling high-fidelity novel view synthesis in real-time. However, with the exception of RawNeRF, all prior 3DGS and NeRF-based methods rely on 8-bit tone-mapped Low Dynamic Range (LDR) images for scene reconstruction. Such methods struggle to achieve accurate reconstructions in scenes that require a higher dynamic range. Examples include scenes captured in nighttime or poorly lit indoor spaces having a low signal-to-noise ratio, as well as daylight scenes with shadow regions exhibiting extreme contrast. Our proposed method HDRSplat tailors 3DGS to train directly on 14-bit linear raw images in near darkness which preserves the scenes' full dynamic range and content. Our key contributions are two-fold: Firstly, we propose a linear HDR space-suited loss that effectively extracts scene information from noisy dark regions and nearly saturated bright regions simultaneously, while also handling view-dependent colors without increasing the degree of spherical harmonics. Secondly, through careful rasterization tuning, we implicitly overcome the heavy reliance and sensitivity of 3DGS on point cloud initialization. This is critical for accurate reconstruction in regions of low texture, high depth of field, and low illumination. HDRSplat is the fastest method to date that does 14-bit (HDR) 3D scene reconstruction in $\le$15 minutes/scene ($\sim$30x faster than prior state-of-the-art RawNeRF). It also boasts the fastest inference speed at $\ge$120fps. We further demonstrate the applicability of our HDR scene reconstruction by showcasing various applications like synthetic defocus, dense depth map extraction, and post-capture control of exposure, tone-mapping and view-point.
• Abstract（参考訳）: 近年の3Dガウススプラッティング(3DGS)の出現は、3Dシーンの再現空間に革命をもたらし、高忠実なノベルビューのリアルタイム合成を可能にした。 しかしながら、RawNeRFを除いて、以前の3DGSとNeRFベースの手法は全て、シーン再構成のための8ビットのトーンマップ付き低ダイナミックレンジ(LDR)画像に依存している。 このような手法は、より高いダイナミックレンジを必要とするシーンにおいて正確な再構築を実現するのに苦労する。 例えば、夜間に撮影されるシーンや、信号と雑音の比率が低い室内空間、日光の日景など、非常にコントラストが強いシーンがある。 提案手法は,14ビットの直線的原像を暗黒付近で直接トレーニングし,シーンの全ダイナミックレンジと内容を保存する。 まず、ノイズの多い暗黒領域とほぼ飽和した明るい領域からシーン情報を効果的に抽出する線形HDR空間整合損失を提案し、同時に、球面調和の度合いを増大させることなく視野依存色を扱う。 第二に、注意的なラスタライズチューニングにより、3DGSが点群の初期化に大きく依存していることと感度を暗黙的に克服する。 これは、低テクスチャ、高深度、低照度領域の正確な再構築に重要である。 HDRSplatは、14ビット(HDR)の3Dシーンを1秒あたり$$\le$15(最先端のRawNeRFより30倍速い)で再現する、これまでで最速の方法である。 また、予想速度は120fpsで最高。 さらに, 合成デフォーカス, 深度マップ抽出, 露光後制御, トーンマッピング, ビューポイントなど, 様々な応用を実演して, HDRシーンの再現性を実証した。

関連論文リスト

• Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
  本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。 3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
  論文  参考訳（メタデータ） (2024-11-19T11:59:54Z)
• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• Lighting Every Darkness with 3DGS: Fast Training and Real-Time Rendering for HDR View Synthesis [35.81034036380374]
  ボリュームレンダリングに基づく手法は、特に夜間シーンにおいてRAWimagesからのHDRビュー合成に優れる。 長いトレーニング時間に悩まされており、サンプリング要求が密集しているためリアルタイムレンダリングを行うことができない。 3D Gaussian Splatting(3DGS)の登場により、リアルタイムレンダリングと高速なトレーニングが可能になる。 これらの設計により、LE3Dはリアルタイムのノベルビュー合成、HDRレンダリング、リフォーカス、トーンマッピングなどを行うことができる。
  論文  参考訳（メタデータ） (2024-06-10T12:33:08Z)
• HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting [76.5908492298286]
  既存のHDR NVS法は主にNeRFに基づいている。 訓練時間は長く、推論速度は遅い。 我々は新しいフレームワークHigh Dynamic Range Gaussian Splatting (-GS)を提案する。
  論文  参考訳（メタデータ） (2024-05-24T00:46:58Z)
• Fast High Dynamic Range Radiance Fields for Dynamic Scenes [39.3304365600248]
  我々はHDR-HexPlaneという動的HDR NeRFフレームワークを提案し、様々な露出で捉えた動的2D画像から3Dシーンを学習する。 提案したモデルでは、任意の時点における高品質なノベルビュー画像を、望まれる露光でレンダリングすることができる。
  論文  参考訳（メタデータ） (2024-01-11T17:15:16Z)
• Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in Dynamic Scenes [58.66427721308464]
  Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。 Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-10-03T07:10:49Z)
• RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image [36.17182977927645]
  高ダイナミックレンジ(RGB)画像は、標準画像よりもはるかに多くの強度レベルをキャプチャする。 現在の方法では、カメラ処理パイプラインによって劣化した8ビット低ダイナミックレンジ(LDR)s画像から、主にHDR画像を生成する。 既存の方法とは異なり、この研究の中心となる考え方は、より情報に富んだRawセンサーデータを取り入れてHDR画像を生成することである。
  論文  参考訳（メタデータ） (2023-09-05T07:58:21Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene Reconstruction from Blurry Images [75.87721926918874]
  PDRF(Progressive Deblurring Radiance Field)について報告する。 PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。 PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T03:42:29Z)
• HDR Video Reconstruction: A Coarse-to-fine Network and A Real-world Benchmark Dataset [30.249052175655606]
  HDRビデオ再構築のための粗い深層学習フレームワークを紹介します。 まず,画像空間において粗いアライメントとピクセルブレンドを行い,粗いhdr映像を推定する。 第二に、粗いHDRビデオの特徴空間でより洗練されたアライメントと時間融合を行い、より良い再構築を実現します。
  論文  参考訳（メタデータ） (2021-03-27T16:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。