論文の概要: Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo

• arxiv url: http://arxiv.org/abs/2110.05594v1
• Date: Mon, 11 Oct 2021 20:20:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 14:55:27.174843
• Title: Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo
• Title（参考訳）: 深層多視点光度ステレオへのニューラルラジアンス場アプローチ
• Authors: Berk Kaya, Suryansh Kumar, Francesco Sarno, Vittorio Ferrari, Luc Van Gool
• Abstract要約: 多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
• 参考スコア（独自算出の注目度）: 103.08512487830669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a modern solution to the multi-view photometric stereo problem (MVPS). Our work suitably exploits the image formation model in a MVPS experimental setup to recover the dense 3D reconstruction of an object from images. We procure the surface orientation using a photometric stereo (PS) image formation model and blend it with a multi-view neural radiance field representation to recover the object's surface geometry. Contrary to the previous multi-staged framework to MVPS, where the position, iso-depth contours, or orientation measurements are estimated independently and then fused later, our method is simple to implement and realize. Our method performs neural rendering of multi-view images while utilizing surface normals estimated by a deep photometric stereo network. We render the MVPS images by considering the object's surface normals for each 3D sample point along the viewing direction rather than explicitly using the density gradient in the volume space via 3D occupancy information. We optimize the proposed neural radiance field representation for the MVPS setup efficiently using a fully connected deep network to recover the 3D geometry of an object. Extensive evaluation on the DiLiGenT-MV benchmark dataset shows that our method performs better than the approaches that perform only PS or only multi-view stereo (MVS) and provides comparable results against the state-of-the-art multi-stage fusion methods.
• Abstract（参考訳）: 本稿では,マルチビューフォトメトリックステレオ問題(mvps)に対する最新の解法を提案する。 本研究は,MVPS実験装置における画像形成モデルを用いて,画像から物体の高密度な3次元再構成を復元する。 光計測ステレオ(ps)像形成モデルを用いて表面配向を抽出し、多視点の神経放射場表現とブレンドして物体の表面形状を復元する。 従来の多段化フレームワークとは対照的に, 位置, 等深度等角線, 方向測定は独立に推定され, 後で融合するので, 実装と実現が容易である。 本手法は,深層測光ステレオネットワークで推定される表面正規性を利用して,多視点画像のニューラルレンダリングを行う。 3次元占有情報を介して体積空間の密度勾配を明示的に使用するのではなく、観察方向に沿って各3次元サンプル点に対する物体の表面正規性を考慮してmvps画像を描画する。 提案する神経放射場表現をmvpsで効率的に最適化し,完全連結深層ネットワークを用いて物体の3次元形状を復元する。 diligent-mvベンチマークデータセットの広範な評価から,本手法はpsのみ,あるいはmvsのみを実行するアプローチよりも優れた性能を示し,最先端のマルチステージ融合法と同等の結果を提供する。

関連論文リスト

• NPLMV-PS: Neural Point-Light Multi-View Photometric Stereo [32.39157133181186]
  本稿では,新しい多視点測光ステレオ(MVPS)法を提案する。 我々の研究は、現在最先端のマルチビューPS-NeRFやスーパーノーマルと異なり、ピクセルごとの強度レンダリングを明示的に活用しています。 提案手法は,DiLiGenT-MVベンチマークで提案した古典的MVPS手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-05-20T14:26:07Z)
• RNb-NeuS: Reflectance and Normal-based Multi-View 3D Reconstruction [3.1820300989695833]
  本稿では,光度ステレオにより得られる多視点反射率と正規写像を統合するための多目的パラダイムを提案する。 提案手法では, 反射率と正規度の画素ワイドな共同パラメータ化を, 放射光のベクトルとして用いた。 これは、高い曲率または低い視認性を持つ領域の詳細な3D再構成を大幅に改善する。
  論文  参考訳（メタデータ） (2023-12-02T19:49:27Z)
• A Neural Height-Map Approach for the Binocular Photometric Stereo Problem [36.404880059833324]
  双眼鏡測光ステレオ(PS)フレームワークは単視PSと同じ取得速度を持つが、推定幾何の質は著しく向上する。 本手法は両眼立体装置に適応したDiLiGenT-MVデータセットの最先端性能と新しい両眼測光ステレオデータセットLUCES-STを実現する。
  論文  参考訳（メタデータ） (2023-11-10T09:45:53Z)
• Deep Learning Methods for Calibrated Photometric Stereo and Beyond [86.57469194387264]
  光度ステレオは、さまざまなシェーディングキューを持つ複数の画像から物体の表面の正常性を回復する。 深層学習法は、非ランベルト面に対する測光ステレオの文脈において強力な能力を示している。
  論文  参考訳（メタデータ） (2022-12-16T11:27:44Z)
• Multi-View Photometric Stereo Revisited [100.97116470055273]
  多視点測光ステレオ(MVPS)は、画像から被写体を詳細に正確に3D取得する方法として好まれる。 MVPSは異方性や光沢などの他の対象物質と同様に,等方性に対しても有効である。 提案手法は、複数のベンチマークデータセットで広範囲にテストした場合に、最先端の結果を示す。
  論文  参考訳（メタデータ） (2022-10-14T09:46:15Z)
• Uncertainty-Aware Deep Multi-View Photometric Stereo [100.97116470055273]
  光度ステレオ(PS)は高周波表面の細部を復元するのに優れ、マルチビューステレオ(MVS)はPSによる低周波歪みを除去し、大域的な形状を維持するのに役立つ。 本稿では,PS と MVS の相補的強みを効果的に活用する手法を提案する。 我々は,不確実性を考慮したディープPSネットワークとディープMVSネットワークを用いて,画素ごとの表面の正規度と深さを推定する。
  論文  参考訳（メタデータ） (2022-02-26T05:45:52Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset for Spatially Varying Isotropic Materials [65.95928593628128]
  多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。 我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
  論文  参考訳（メタデータ） (2020-01-18T12:26:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。