論文の概要: Shape, Light & Material Decomposition from Images using Monte Carlo Rendering and Denoising

• arxiv url: http://arxiv.org/abs/2206.03380v1
• Date: Tue, 7 Jun 2022 15:19:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 16:05:35.269860
• Title: Shape, Light & Material Decomposition from Images using Monte Carlo Rendering and Denoising
• Title（参考訳）: モンテカルロレンダリングと雑音除去を用いた画像からの形状・光・物質分解
• Authors: Jon Hasselgren, Nikolai Hofmann and Jacob Munkberg
• Abstract要約: レイトレーシングとモンテカルロの統合を取り入れたより現実的なシェーディングモデルが, 形状, 材料, 照明の分解を著しく改善することを示す。 我々は、新しい逆レンダリングパイプラインに複数の重要サンプリングとデノイングを組み込んだ。 これは収束を大幅に改善し、低いサンプル数での勾配に基づく最適化を可能にする。
• 参考スコア（独自算出の注目度）: 0.7366405857677225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in differentiable rendering have enabled high-quality reconstruction of 3D scenes from multi-view images. Most methods rely on simple rendering algorithms: pre-filtered direct lighting or learned representations of irradiance. We show that a more realistic shading model, incorporating ray tracing and Monte Carlo integration, substantially improves decomposition into shape, materials & lighting. Unfortunately, Monte Carlo integration provides estimates with significant noise, even at large sample counts, which makes gradient-based inverse rendering very challenging. To address this, we incorporate multiple importance sampling and denoising in a novel inverse rendering pipeline. This substantially improves convergence and enables gradient-based optimization at low sample counts. We present an efficient method to jointly reconstruct geometry (explicit triangle meshes), materials, and lighting, which substantially improves material and light separation compared to previous work. We argue that denoising can become an integral part of high quality inverse rendering pipelines.
• Abstract（参考訳）: 最近の微分可能レンダリングの進歩により、マルチビュー画像からの3dシーンの高品質な再構築が可能となった。 ほとんどの方法は単純なレンダリングアルゴリズムに依存している。 レイトレーシングとモンテカルロの統合を取り入れたより現実的なシェーディングモデルが, 形状, 材料, 照明の分解を著しく改善することを示す。 残念なことに、モンテカルロ積分は大きなサンプル数であっても大きなノイズを伴う推定を提供するため、勾配に基づく逆レンダリングは非常に困難である。 これを解決するために、新しい逆レンダリングパイプラインに複数の重要サンプリングとデノイングを組み込む。 これは収束を大幅に改善し、低いサンプル数での勾配に基づく最適化を可能にする。 本稿では, 従来よりも材料と光の分離を著しく改善する, 幾何学(特殊三角形メッシュ), 材料, 照明を共同で再構築する効率的な方法を提案する。 我々は、ノイズ化は高品質な逆レンダリングパイプラインの不可欠な部分になり得ると主張している。

関連論文リスト

• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• MIRReS: Multi-bounce Inverse Rendering using Reservoir Sampling [17.435649250309904]
  本稿では,新しい2段階逆レンダリングフレームワークであるMIRReSを紹介する。 提案手法は, ステージ1で明示的な幾何(三角形メッシュ)を抽出し, より現実的な物理ベースの逆レンダリングモデルを導入する。 本手法は,自己陰影や内部反射を含む間接照明を効果的に推定する。
  論文  参考訳（メタデータ） (2024-06-24T07:00:57Z)
• Denoising Monte Carlo Renders with Diffusion Models [5.228564799458042]
  物理的にベースとしたレンダリングはモンテカルロノイズを含み、ピクセル当たりの光の数が減少するにつれてばらつきが増す。 このノイズは、良い現代人にはゼロ平均だが、重い尾を持つことがある。 拡散モデルが低忠実度レンダリングをうまく認知できることを実証する。
  論文  参考訳（メタデータ） (2024-03-30T23:19:40Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。