論文の概要: Deep Polarization Imaging for 3D shape and SVBRDF Acquisition
- arxiv url: http://arxiv.org/abs/2105.02875v1
- Date: Thu, 6 May 2021 17:58:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 13:31:49.484211
- Title: Deep Polarization Imaging for 3D shape and SVBRDF Acquisition
- Title(参考訳): 3次元形状の深部偏光イメージングとSVBRDF取得
- Authors: Valentin Deschaintre, Yiming Lin and Abhijeet Ghosh
- Abstract要約: 偏光キューを用いた3次元物体の形状と空間的反射率を効率よく取得する新しい手法を提案する。
偏光イメージングを深層学習と組み合わせることで,物体や物体の出現を一定の制約下で推定する従来の研究と異なり,このような制約を解消する。
我々は,フラッシュ照明とともにディープラーニングを用いた最近の研究と比較して,優れた結果を得るためのアプローチを実証する。
- 参考スコア(独自算出の注目度): 7.86578678811226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel method for efficient acquisition of shape and spatially
varying reflectance of 3D objects using polarization cues. Unlike previous
works that have exploited polarization to estimate material or object
appearance under certain constraints (known shape or multiview acquisition), we
lift such restrictions by coupling polarization imaging with deep learning to
achieve high quality estimate of 3D object shape (surface normals and depth)
and SVBRDF using single-view polarization imaging under frontal flash
illumination. In addition to acquired polarization images, we provide our deep
network with strong novel cues related to shape and reflectance, in the form of
a normalized Stokes map and an estimate of diffuse color. We additionally
describe modifications to network architecture and training loss which provide
further qualitative improvements. We demonstrate our approach to achieve
superior results compared to recent works employing deep learning in
conjunction with flash illumination.
- Abstract(参考訳): 偏光キューを用いた3次元物体の形状と空間的反射率を効率よく取得する新しい手法を提案する。
偏光を利用した特定の制約下での物質や物体の出現を推定する従来の研究(形状や多視点取得)とは異なり、偏光イメージングとディープラーニングを組み合わせることで、前面フラッシュ照明下での単視点偏光イメージングを用いて3次元物体形状(表面正常および深さ)とsvbrdfの高品質な推定を実現する。
取得した偏光画像に加えて,正規化ストークスマップと拡散色の推定という形で,形状と反射率に関する強力な新しい手がかりを深層ネットワークに提供する。
さらに,ネットワークアーキテクチャの変更と,さらに質的な改善を提供するトレーニング損失についても述べる。
我々は,フラッシュ照明とともにディープラーニングを用いた最近の研究と比較して,優れた結果を得るためのアプローチを実証する。
関連論文リスト
- SHINOBI: Shape and Illumination using Neural Object Decomposition via
BRDF Optimization In-the-wild [78.47890911687539]
制約のない画像コレクションに基づくオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける長年の課題である。
マルチレゾリューションハッシュ符号化に基づく暗黙の形状表現により,高速かつ堅牢な形状復元が可能となることを示す。
本手法はクラス非依存であり,3Dアセットを生成するために,オブジェクトのWildイメージコレクションで動作する。
論文 参考訳(メタデータ) (2024-01-18T18:01:19Z) - NeISF: Neural Incident Stokes Field for Geometry and Material Estimation [50.588983686271284]
多視点逆レンダリングは、異なる視点で撮影された一連の画像から形状、材料、照明などのシーンパラメータを推定する問題である。
本稿では,偏光手がかりを用いた曖昧さを低減する多視点逆フレームワークNeISFを提案する。
論文 参考訳(メタデータ) (2023-11-22T06:28:30Z) - Polarimetric Multi-View Inverse Rendering [13.391866136230165]
偏光カメラは、偏光の角度(AoP)と反射光の偏光の度合い(DoP)が物体の表面の正常と関係しているため、3次元再構成に大きな可能性がある。
入力された多視点カラー偏光画像から抽出した幾何的・測光的・偏光的手がかりを効果的に活用するポラリメトリック多視点逆レンダリング(Polarimetric Multi-View Inverse Rendering, Polarimetric MVIR)と呼ばれる新しい3次元再構成手法を提案する。
論文 参考訳(メタデータ) (2022-12-24T12:12:12Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:59:53Z) - Transparent Shape from a Single View Polarization Image [6.18278691318801]
本稿では,一視点偏光画像から透明表面を推定する学習手法を提案する。
従来の偏光法(SfP)法では、固有の透過干渉が物理に基づく事前の信頼性を大幅に低下させるため、透明な形状を推定することが困難である。
論文 参考訳(メタデータ) (2022-04-13T12:24:32Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳(メタデータ) (2021-10-11T20:20:03Z) - 3D Human Shape Reconstruction from a Polarization Image [34.240256720930155]
本稿では, 単偏光2次元画像から衣服の3次元体形状を推定する問題に対処する。
専用2段階のディープラーニングアプローチであるSfPが提案されている。
論文 参考訳(メタデータ) (2020-07-17T22:36:02Z) - Polarimetric Multi-View Inverse Rendering [13.391866136230165]
偏光カメラは、反射光の偏光角(AoP)が物体の表面の正常と関係しているため、3次元再構成に大きな可能性がある。
入力された多視点カラー偏光画像から抽出した幾何的・測光的・偏光的手がかりを利用するポラリメトリック・マルチビュー逆レンダリング(Polarimetric MVIR)と呼ばれる新しい3次元再構成手法を提案する。
論文 参考訳(メタデータ) (2020-07-17T09:00:20Z) - Through the Looking Glass: Neural 3D Reconstruction of Transparent
Shapes [75.63464905190061]
屈折と反射によって誘導される複雑な光路は、従来の多視点ステレオと深いステレオの両方がこの問題を解決するのを妨げている。
携帯電話カメラで取得したいくつかの画像を用いて透明物体の3次元形状を復元する物理ネットワークを提案する。
5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。
論文 参考訳(メタデータ) (2020-04-22T23:51:30Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。