論文の概要: DeepShaRM: Multi-View Shape and Reflectance Map Recovery Under Unknown Lighting

• arxiv url: http://arxiv.org/abs/2310.17632v1
• Date: Thu, 26 Oct 2023 17:50:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 18:26:59.072216
• Title: DeepShaRM: Multi-View Shape and Reflectance Map Recovery Under Unknown Lighting
• Title（参考訳）: DeepShaRM: 未知の照明下でのマルチビュー形状と反射マップの復元
• Authors: Kohei Yamashita, Shohei Nobuhara, Ko Nishino
• Abstract要約: 我々は,この課題に対して最先端の精度を実現する新しいマルチビュー手法であるDeepShaRMを導出する。 本稿では,カメラ・ビュー・リフレクタンス・マップを復元する新しいディープ・リフレクタンス・マップ推定ネットワークを提案する。 シェーディングネットワークは、符号付き距離関数で表される幾何推定を更新する。
• 参考スコア（独自算出の注目度）: 35.18426818323455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Geometry reconstruction of textureless, non-Lambertian objects under unknown natural illumination (i.e., in the wild) remains challenging as correspondences cannot be established and the reflectance cannot be expressed in simple analytical forms. We derive a novel multi-view method, DeepShaRM, that achieves state-of-the-art accuracy on this challenging task. Unlike past methods that formulate this as inverse-rendering, i.e., estimation of reflectance, illumination, and geometry from images, our key idea is to realize that reflectance and illumination need not be disentangled and instead estimated as a compound reflectance map. We introduce a novel deep reflectance map estimation network that recovers the camera-view reflectance maps from the surface normals of the current geometry estimate and the input multi-view images. The network also explicitly estimates per-pixel confidence scores to handle global light transport effects. A deep shape-from-shading network then updates the geometry estimate expressed with a signed distance function using the recovered reflectance maps. By alternating between these two, and, most important, by bypassing the ill-posed problem of reflectance and illumination decomposition, the method accurately recovers object geometry in these challenging settings. Extensive experiments on both synthetic and real-world data clearly demonstrate its state-of-the-art accuracy.
• Abstract（参考訳）: 未知の自然照明下での非ランベルト天体の幾何学的再構成(すなわち野生での)は、対応が確立できず、単純な解析形式では表現できないため困難である。 本稿では,この課題に対して最先端の精度を実現する新しいマルチビュー手法DeepShaRMを提案する。 画像から反射率, 照明, 幾何学を推定する従来の手法とは異なり, 反射率と照明を分離する必要がなく, むしろ複合反射率マップとして推定することが重要な考え方である。 本稿では,現在の幾何推定と入力された多視点画像の表面正規値からカメラ・ビュー反射率マップを復元する,新しい深部反射率マップ推定ネットワークを提案する。 ネットワークはまた、グローバル光輸送効果を処理するためにピクセル当たりの信頼度スコアを明示的に見積もっている。 シェーディングネットワークは、得られた反射率マップを用いて、符号付き距離関数で表現された幾何推定を更新する。 この2つを交互に、そして最も重要なことは、反射と照明分解という不適切な問題をバイパスすることで、これらの困難な設定でオブジェクトの形状を正確に復元する。 合成データと実世界のデータの両方に関する広範な実験は、その最先端の正確さを明確に示している。

関連論文リスト

• NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
  NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。 偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。 我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
  論文  参考訳（メタデータ） (2024-06-11T09:53:18Z)
• Monocular Identity-Conditioned Facial Reflectance Reconstruction [71.90507628715388]
  既存の方法は、顔の反射率モデルを学ぶために、大量の光ステージキャプチャーデータに依存している。 我々は、UV空間ではなく画像空間で反射率を学習し、ID2Reflectanceというフレームワークを提案する。 本フレームワークは,訓練に限られた反射率データを用いながら,単一の画像の反射率マップを直接推定することができる。
  論文  参考訳（メタデータ） (2024-03-30T09:43:40Z)
• Diffusion Reflectance Map: Single-Image Stochastic Inverse Rendering of Illumination and Reflectance [19.20790327389337]
  反射は、物体の外観における照明の周波数スペクトルを束縛する。 本稿では,照明の減衰周波数スペクトルを既知の幾何の物体の反射率とともに復元する第1逆レンダリング法を提案する。
  論文  参考訳（メタデータ） (2023-12-07T18:50:00Z)
• NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images [44.1333444097976]
  未知の環境で撮影された多視点画像から反射物体の形状とBRDFを再構成するニューラルネットワークNeROを提案する。
  論文  参考訳（メタデータ） (2023-05-27T07:40:07Z)
• Self-calibrating Photometric Stereo by Neural Inverse Rendering [88.67603644930466]
  本稿では3次元オブジェクト再構成のための非校正光度ステレオの課題に取り組む。 本研究では,物体形状,光方向,光強度を協調的に最適化する手法を提案する。 本手法は,実世界のデータセット上での光推定と形状復元における最先端の精度を示す。
  論文  参考訳（メタデータ） (2022-07-16T02:46:15Z)
• Neural Reflectance for Shape Recovery with Shadow Handling [88.67603644930466]
  本論文は,非ランベルト的かつ空間的に変化する表面材料を用いて,シーンの形状を復元することを目的とする。 本研究では, 未知の3次元形状と未知の面点の両方をパラメータ化するために, 座標に基づく深部反射率(多層パーセプトロン)を提案する。 このネットワークは、観測された光度差と表面上の影を利用して、表面形状と一般的な非ランベルト反射率の両方を回復することができる。
  論文  参考訳（メタデータ） (2022-03-24T07:57:20Z)
• Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown Generic Reflectance [86.05191217004415]
  表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。 本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
  論文  参考訳（メタデータ） (2021-05-25T01:28:54Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。