論文の概要: Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting

• arxiv url: http://arxiv.org/abs/2109.06061v1
• Date: Mon, 13 Sep 2021 15:29:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:33:10.386753
• Title: Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting
• Title（参考訳）: 3次元空間変動照明による屋内逆レンダリングの学習
• Authors: Zian Wang, Jonah Philion, Sanja Fidler, Jan Kautz
• Abstract要約: 1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 149.1673041605155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we address the problem of jointly estimating albedo, normals, depth and 3D spatially-varying lighting from a single image. Most existing methods formulate the task as image-to-image translation, ignoring the 3D properties of the scene. However, indoor scenes contain complex 3D light transport where a 2D representation is insufficient. In this paper, we propose a unified, learning-based inverse rendering framework that formulates 3D spatially-varying lighting. Inspired by classic volume rendering techniques, we propose a novel Volumetric Spherical Gaussian representation for lighting, which parameterizes the exitant radiance of the 3D scene surfaces on a voxel grid. We design a physics based differentiable renderer that utilizes our 3D lighting representation, and formulates the energy-conserving image formation process that enables joint training of all intrinsic properties with the re-rendering constraint. Our model ensures physically correct predictions and avoids the need for ground-truth HDR lighting which is not easily accessible. Experiments show that our method outperforms prior works both quantitatively and qualitatively, and is capable of producing photorealistic results for AR applications such as virtual object insertion even for highly specular objects.
• Abstract（参考訳）: 本研究では, 1枚の画像からアルベド, 正常, 深さ, 3次元空間変動光を共同推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 しかし、室内には複雑な3次元光輸送があり、2次元表現が不十分である。 本稿では,3次元空間変動照明を定式化した学習ベースの逆レンダリングフレームワークを提案する。 古典的なボリュームレンダリング技術に触発されて,voxelグリッド上の3dシーン表面の放射輝度をパラメータ化する,新しい体積球面ガウス表現を提案する。 我々は3次元照明表現を利用した物理ベースの微分可能レンダラーを設計し、再レンダリング制約によるすべての固有特性の合同トレーニングを可能にするエネルギー保存画像形成過程を定式化する。 本モデルでは, 物理的に正確な予測を保証し, 容易にアクセスできない接地型HDR照明の必要性を回避する。 実験により,本手法は従来手法よりも定量的かつ定性的に優れており,高スペックなオブジェクトであっても仮想オブジェクト挿入などのARアプリケーションに対して光実効性が得られることが示された。

関連論文リスト

• Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
  Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。 事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。 これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
  論文  参考訳（メタデータ） (2024-07-15T07:16:11Z)
• Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation [45.69270771487455]
  本稿では,高品質なテキスト・ツー・3Dコンテンツ作成のためのFantasia3Dの新たな手法を提案する。 Fantasia3Dの鍵となるのは、幾何学と外観の混乱したモデリングと学習である。 我々のフレームワークは、人気のあるグラフィックスエンジンとより互換性があり、生成した3Dアセットのリライティング、編集、物理シミュレーションをサポートしています。
  論文  参考訳（メタデータ） (2023-03-24T09:30:09Z)
• 3D Scene Creation and Rendering via Rough Meshes: A Lighting Transfer Avenue [49.62477229140788]
  本稿では,再構成された3Dモデルを3Dシーン作成やレンダリングなどの実用的な3Dモデリングパイプラインに柔軟に統合する方法について述べる。 我々はNFRとPBRを橋渡しする照明伝達ネットワーク(LighTNet)を提案する。
  論文  参考訳（メタデータ） (2022-11-27T13:31:00Z)
• TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition [39.312567993736025]
  本稿では,テキストのプロンプトに従って,与えられた3次元形状の外観スタイルをフォトリアリスティックな方法で転送するタンゴを提案する。 TANGOは,低品質メッシュのスタイリングにおいて,フォトリアリスティックな品質,3次元幾何の整合性,ロバスト性の観点から,既存のテキスト駆動型3Dスタイル転送法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T13:52:18Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• 3D-GIF: 3D-Controllable Object Generation via Implicit Factorized Representations [31.095503715696722]
  本稿では、ビュー非依存かつ光異方性のある因子化表現と、ランダムにサンプリングされた光条件によるトレーニングスキームを提案する。 因子化表現,再照明画像,アルベドテクスチャメッシュを可視化することで,本手法の優位性を実証する。 これは、追加のラベルや仮定なしで、未提示の2Dイメージでアルベドテクスチャメッシュを抽出する最初の作業である。
  論文  参考訳（メタデータ） (2022-03-12T15:23:17Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。