論文の概要: IRIS: Inverse Rendering of Indoor Scenes from Low Dynamic Range Images

• arxiv url: http://arxiv.org/abs/2401.12977v1
• Date: Tue, 23 Jan 2024 18:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 14:48:25.172187
• Title: IRIS: Inverse Rendering of Indoor Scenes from Low Dynamic Range Images
• Title（参考訳）: IRIS:低ダイナミックレンジ画像からの室内シーンの逆レンダリング
• Authors: Zhi-Hao Lin, Jia-Bin Huang, Zhengqin Li, Zhao Dong, Christian Richardt, Tuotuo Li, Michael Zollh\"ofer, Johannes Kopf, Shenlong Wang, Changil Kim
• Abstract要約: 本稿では,多視点低ダイナミックレンジ(LDR)画像からシーンの物理的特性と照明を復元する手法を提案する。 提案手法は,LDR画像を入力として利用する既存の手法よりも優れており,リアルなリライティングやオブジェクト挿入を実現している。
• 参考スコア（独自算出の注目度）: 32.83096814910201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While numerous 3D reconstruction and novel-view synthesis methods allow for photorealistic rendering of a scene from multi-view images easily captured with consumer cameras, they bake illumination in their representations and fall short of supporting advanced applications like material editing, relighting, and virtual object insertion. The reconstruction of physically based material properties and lighting via inverse rendering promises to enable such applications. However, most inverse rendering techniques require high dynamic range (HDR) images as input, a setting that is inaccessible to most users. We present a method that recovers the physically based material properties and spatially-varying HDR lighting of a scene from multi-view, low-dynamic-range (LDR) images. We model the LDR image formation process in our inverse rendering pipeline and propose a novel optimization strategy for material, lighting, and a camera response model. We evaluate our approach with synthetic and real scenes compared to the state-of-the-art inverse rendering methods that take either LDR or HDR input. Our method outperforms existing methods taking LDR images as input, and allows for highly realistic relighting and object insertion.
• Abstract（参考訳）: 多数の3次元再構成と新しい視点合成手法によって、コンシューマーカメラで簡単に撮影できるマルチビュー画像からのシーンのフォトリアリスティックなレンダリングが可能になる一方で、それらの表現に照明を焼き付け、素材の編集、リライト、仮想オブジェクト挿入といった高度なアプリケーションのサポートを欠いている。 物理的な材料特性の再構築と逆レンダリングによる照明により、そのような応用が可能になる。 しかし、ほとんどの逆レンダリング技術は入力として高ダイナミックレンジ(HDR)画像を必要とする。 本稿では,多視点低ダイナミックレンジ(LDR)画像から物理特性と空間的に変化するシーンのHDR照明を復元する手法を提案する。 逆レンダリングパイプラインにおけるLDR画像生成過程をモデル化し,材料,照明,カメラ応答モデルに対する新たな最適化戦略を提案する。 ldr と hdr を入力とする最先端の逆レンダリング手法と比較し,合成および実場面によるアプローチを評価した。 提案手法は,LDR画像を入力として利用する既存の手法よりも優れており,リアルなリライティングやオブジェクト挿入を実現している。

関連論文リスト

• Relighting Scenes with Object Insertions in Neural Radiance Fields [24.18050535794117]
  本研究では,物体のNeRFをシーンのNeRFに挿入するための新しいNeRFパイプラインを提案する。 提案手法は,広範囲な実験評価において,現実的な照明効果を実現する。
  論文  参考訳（メタデータ） (2024-06-21T00:58:58Z)
• Cinematic Gaussians: Real-Time HDR Radiance Fields with Depth of Field [23.92087253022495]
  放射場法は、多視点写真から複雑なシーンを再構成する際の技法の状態を表現している。 ピンホールカメラモデルへの依存は、すべてのシーン要素が入力画像に集中していると仮定し、実用的な課題を提示し、新規な視点合成において再焦点を複雑にする。 様々な露光時間,開口の放射率,焦点距離を多視点LDR画像を用いて高ダイナミックレンジシーンを再構成する3Dガウススメッティングに基づく軽量解析手法を提案する。
  論文  参考訳（メタデータ） (2024-06-11T15:00:24Z)
• Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
  そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。 実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-26T08:10:22Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• ENVIDR: Implicit Differentiable Renderer with Neural Environment Lighting [9.145875902703345]
  ENVIDRは、高精細な反射を伴う表面の高精細なレンダリングと再構成のためのレンダリングとモデリングのためのフレームワークである。 まず、表面光と環境光の相互作用を学習するために、分解レンダリングを用いた新しいニューラルネットワークを提案する。 次に、この学習されたニューラルサーフェスを利用して一般的なシーンを表現するSDFベースのニューラルサーフェスモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-23T04:12:07Z)
• MAIR: Multi-view Attention Inverse Rendering with 3D Spatially-Varying Lighting Estimation [13.325800282424598]
  マルチビュー画像を用いてシーンを幾何学、SVBRDF、3次元空間的に変化する照明に分解するシーンレベルの逆レンダリングフレームワークを提案する。 実験の結果,提案手法はシングルビュー方式よりも優れた性能を示すが,実世界のシーンでは頑健な性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-03-22T08:07:28Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes [84.66946637534089]
  PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。 プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。 ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
  論文  参考訳（メタデータ） (2022-07-02T06:52:44Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。