論文の概要: SIR: Multi-view Inverse Rendering with Decomposable Shadow for Indoor Scenes

• arxiv url: http://arxiv.org/abs/2402.06136v2
• Date: Sun, 25 Feb 2024 10:28:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 00:00:33.004944
• Title: SIR: Multi-view Inverse Rendering with Decomposable Shadow for Indoor Scenes
• Title（参考訳）: SIR:室内シーンのシャドーを分解可能なマルチビュー逆レンダリング
• Authors: Xiaokang Wei, Zhuoman Liu, Yan Luximon
• Abstract要約: 多視点データを用いた屋内シーンの逆レンダリングにおいて,識別可能な影を分解する効率的な方法であるSIRを提案する。 SIRは、未知の光位置下での物質推定において、現実性を高めるための影を明示的に学習する。 SIRの大幅な分解能力は、フリービューのリライト、オブジェクト挿入、材料置換といった高度な編集機能を実現する。
• 参考スコア（独自算出の注目度）: 0.9975341265604579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose SIR, an efficient method to decompose differentiable shadows for inverse rendering on indoor scenes using multi-view data, addressing the challenges in accurately decomposing the materials and lighting conditions. Unlike previous methods that struggle with shadow fidelity in complex lighting environments, our approach explicitly learns shadows for enhanced realism in material estimation under unknown light positions. Utilizing posed HDR images as input, SIR employs an SDF-based neural radiance field for comprehensive scene representation. Then, SIR integrates a shadow term with a three-stage material estimation approach to improve SVBRDF quality. Specifically, SIR is designed to learn a differentiable shadow, complemented by BRDF regularization, to optimize inverse rendering accuracy. Extensive experiments on both synthetic and real-world indoor scenes demonstrate the superior performance of SIR over existing methods in both quantitative metrics and qualitative analysis. The significant decomposing ability of SIR enables sophisticated editing capabilities like free-view relighting, object insertion, and material replacement. The code and data are available at https://xiaokangwei.github.io/SIR/.
• Abstract（参考訳）: SIRは,多視点データを用いた屋内シーンの逆レンダリングにおいて,素材や照明条件を正確に分解する上での課題に対処するため,効率よく異種影を分解する手法である。 複雑な照明環境における影の忠実さに苦しむ従来の手法とは異なり、我々の手法は未知の光位置下での物質推定における現実性向上のための影を明示的に学習する。 提案したHDR画像を入力として利用し、SIRは総合的なシーン表現のためにSDFベースのニューラル放射場を使用する。 次に,SIRは影項と3段階の物質推定手法を統合し,SVBRDFの品質を向上する。 具体的には、BRDF正規化によって補完される微分可能な影を学習し、逆レンダリング精度を最適化する。 室内の合成シーンと実空間の両方での大規模な実験は、定量測定と定性解析の両方において既存の手法よりも優れたSIR性能を示す。 SIRの大幅な分解能力は、フリービューのリライト、オブジェクト挿入、材料置換といった高度な編集機能を実現する。 コードとデータはhttps://xiaokangwei.github.io/SIR/で公開されている。

関連論文リスト

• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• LumiGauss: High-Fidelity Outdoor Relighting with 2D Gaussian Splatting [15.11759492990967]
  LumiGaussは,2次元ガウススプラッティングによるシーンの3次元再構成と環境照明を実現する技術である。 提案手法は高品質なシーン再構成を実現し,新しい環境マップ下でのリアルな照明合成を実現する。
  論文  参考訳（メタデータ） (2024-08-06T23:41:57Z)
• SIRe-IR: Inverse Rendering for BRDF Reconstruction with Shadow and Illumination Removal in High-Illuminance Scenes [51.50157919750782]
  本稿では,環境マップ,アルベド,粗さにシーンを分解する暗黙のニューラルレンダリング逆アプローチSIRe-IRを提案する。 間接放射場、通常光、可視光、および直接光を同時に正確にモデル化することにより、影と間接光の両方を除去することができる。 強い照明の存在下でも,影の干渉を伴わずに高品質なアルベドと粗さを回収する。
  論文  参考訳（メタデータ） (2023-10-19T10:44:23Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• NeILF: Neural Incident Light Field for Physically-based Material Estimation [31.230609753253713]
  本稿では,多視点画像と再構成幾何から物質と照明を推定するための微分可能なレンダリングフレームワークを提案する。 本フレームワークでは,シーン照明をニューラルインシデント光電場(NeILF)と表現し,多層パーセプトロンでモデル化した表面BRDFとして材料特性を示す。
  論文  参考訳（メタデータ） (2022-03-14T15:23:04Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。