論文の概要: Cinematic Gaussians: Real-Time HDR Radiance Fields with Depth of Field
- arxiv url: http://arxiv.org/abs/2406.07329v4
- Date: Fri, 22 Nov 2024 11:57:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-25 18:36:11.811089
- Title: Cinematic Gaussians: Real-Time HDR Radiance Fields with Depth of Field
- Title（参考訳）: 撮影ガウシアン:被写界深度を持つリアルタイムHDR放射場
- Authors: Chao Wang, Krzysztof Wolski, Bernhard Kerbl, Ana Serrano, Mojtaba Bemana, Hans-Peter Seidel, Karol Myszkowski, Thomas Leimkühler,
- Abstract要約: 放射場法は、多視点写真から複雑なシーンを再構成する際の技法の状態を表現している。
ピンホールカメラモデルへの依存は、すべてのシーン要素が入力画像に集中していると仮定し、実用的な課題を提示し、新規な視点合成において再焦点を複雑にする。
様々な露光時間,開口の放射率,焦点距離を多視点LDR画像を用いて高ダイナミックレンジシーンを再構成する3Dガウススメッティングに基づく軽量解析手法を提案する。
- 参考スコア（独自算出の注目度）: 23.92087253022495
- License:
- Abstract: Radiance field methods represent the state of the art in reconstructing complex scenes from multi-view photos. However, these reconstructions often suffer from one or both of the following limitations: First, they typically represent scenes in low dynamic range (LDR), which restricts their use to evenly lit environments and hinders immersive viewing experiences. Secondly, their reliance on a pinhole camera model, assuming all scene elements are in focus in the input images, presents practical challenges and complicates refocusing during novel-view synthesis. Addressing these limitations, we present a lightweight method based on 3D Gaussian Splatting that utilizes multi-view LDR images of a scene with varying exposure times, apertures, and focus distances as input to reconstruct a high-dynamic-range (HDR) radiance field. By incorporating analytical convolutions of Gaussians based on a thin-lens camera model as well as a tonemapping module, our reconstructions enable the rendering of HDR content with flexible refocusing capabilities. We demonstrate that our combined treatment of HDR and depth of field facilitates real-time cinematic rendering, outperforming the state of the art.
- Abstract（参考訳）: 放射場法は、多視点写真から複雑なシーンを再構成する最先端の手法である。
第一に、それらは一般的に低ダイナミックレンジ(LDR)のシーンを表しており、均等に照らされた環境に制限され、没入感のある視聴体験を妨げる。
第二に、すべてのシーン要素が入力画像に集中していると仮定したピンホールカメラモデルへの依存が、現実的な課題を示し、新規視点合成において再焦点付けを複雑にする。
これらの制約に対処するために,高ダイナミックレンジ(HDR)放射場を再構成するための入力として,露光時間,開口度,焦点距離の異なるシーンの多視点LDR画像を利用する3次元ガウス散乱に基づく軽量な手法を提案する。
薄膜カメラモデルとトネマッピングモジュールをベースとしたガウシアンの解析的畳み込みを取り入れることで, フレキシブルリフォーカス機能を備えたHDRコンテンツのレンダリングを可能にする。
我々は,HDRとフィールド深度を併用することで,映像のリアルタイムレンダリングが実現し,最先端技術を上回ることを実証した。
関連論文リスト
- Exposure Completing for Temporally Consistent Neural High Dynamic Range Video Rendering [17.430726543786943]
本稿では,不在な露光情報を完成させることで,HDRフレームを描画する新しいパラダイムを提案する。
提案手法では, 隣接LDRフレームを時間次元で補間し, 露出の欠如に対してLDRフレームを再構成する。
これにより、HDR結果の融合プロセスの恩恵を受け、ノイズやゴーストを低減し、時間的一貫性を向上させることができる。
論文 参考訳（メタデータ） (2024-07-18T09:13:08Z) - Radiance Fields from Photons [18.15183252935672]
単一光子カメラ(SPC)を用いて個々の光子の粒度を学習する神経放射場である量子放射場を導入する。
シミュレーションとプロトタイプのSPCハードウェア,高速動作下での高忠実度再構成,低光域,超ダイナミックレンジ設定による実演を行った。
論文 参考訳（メタデータ） (2024-07-12T16:06:51Z) - IRIS: Inverse Rendering of Indoor Scenes from Low Dynamic Range Images [32.83096814910201]
本稿では,多視点低ダイナミックレンジ(LDR)画像からシーンの物理的特性と照明を復元する手法を提案する。
提案手法は,LDR画像を入力として利用する既存の手法よりも優れており,リアルなリライティングやオブジェクト挿入を実現している。
論文 参考訳（メタデータ） (2024-01-23T18:59:56Z) - Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry
from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。
実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-12-26T08:10:22Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - Progressively Optimized Local Radiance Fields for Robust View Synthesis [76.55036080270347]
本稿では,1つのカジュアルな映像から大規模シーンのラディアンス場を再構成するアルゴリズムを提案する。
未知のポーズを扱うために、カメラのポーズと放射場を漸進的に推定する。
大規模な非有界シーンを扱うために、時間窓内にフレームで訓練された新しい局所放射場を動的に割り当てる。
論文 参考訳（メタデータ） (2023-03-24T04:03:55Z) - GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。
鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。
実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
論文 参考訳（メタデータ） (2022-11-22T15:42:08Z) - Self-supervised HDR Imaging from Motion and Exposure Cues [14.57046548797279]
本稿では,学習可能なHDR推定のための新たな自己教師型アプローチを提案する。
実験の結果,提案手法を用いて訓練したHDRモデルは,全監督下で訓練したモデルと性能の競争力を発揮することがわかった。
論文 参考訳（メタデータ） (2022-03-23T10:22:03Z) - HDR-NeRF: High Dynamic Range Neural Radiance Fields [70.80920996881113]
我々は、低ダイナミックレンジ(LDR)ビューの集合からHDR放射界を異なる露光で復元するために、高ダイナミックレンジニューラルレイディアンス場(-NeRF)を提案する。
異なる露出下で、新しいHDRビューと新しいLDRビューの両方を生成することができる。
論文 参考訳（メタデータ） (2021-11-29T11:06:39Z) - HDR-cGAN: Single LDR to HDR Image Translation using Conditional GAN [24.299931323012757]
低ダイナミックレンジ(LDR)カメラは、現実世界のシーンの広いダイナミックレンジを表現できない。
本研究では,HDR画像の再構成を行いながら,飽和領域の詳細を復元する深層学習手法を提案する。
本稿では,HDR-REALデータセットとHDR-SYNTHデータセットに対して,エンドツーエンドでトレーニングされた新しい条件付きGAN(cGAN)ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-04T18:50:35Z) - HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with
Large Motions [62.44802076971331]
マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。
本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
論文 参考訳（メタデータ） (2020-07-03T11:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。