論文の概要: Polarimetric Multi-View Inverse Rendering

• arxiv url: http://arxiv.org/abs/2212.12721v1
• Date: Sat, 24 Dec 2022 12:12:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 14:34:50.513654
• Title: Polarimetric Multi-View Inverse Rendering
• Title（参考訳）: ポラリメトリック多視点逆レンダリング
• Authors: Jinyu Zhao, Yusuke Monno, Masatoshi Okutomi
• Abstract要約: 偏光カメラは、偏光の角度(AoP)と反射光の偏光の度合い(DoP)が物体の表面の正常と関係しているため、3次元再構成に大きな可能性がある。 入力された多視点カラー偏光画像から抽出した幾何的・測光的・偏光的手がかりを効果的に活用するポラリメトリック多視点逆レンダリング(Polarimetric Multi-View Inverse Rendering, Polarimetric MVIR)と呼ばれる新しい3次元再構成手法を提案する。
• 参考スコア（独自算出の注目度）: 13.391866136230165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A polarization camera has great potential for 3D reconstruction since the angle of polarization (AoP) and the degree of polarization (DoP) of reflected light are related to an object's surface normal. In this paper, we propose a novel 3D reconstruction method called Polarimetric Multi-View Inverse Rendering (Polarimetric MVIR) that effectively exploits geometric, photometric, and polarimetric cues extracted from input multi-view color-polarization images. We first estimate camera poses and an initial 3D model by geometric reconstruction with a standard structure-from-motion and multi-view stereo pipeline. We then refine the initial model by optimizing photometric rendering errors and polarimetric errors using multi-view RGB, AoP, and DoP images, where we propose a novel polarimetric cost function that enables an effective constraint on the estimated surface normal of each vertex, while considering four possible ambiguous azimuth angles revealed from the AoP measurement. The weight for the polarimetric cost is effectively determined based on the DoP measurement, which is regarded as the reliability of polarimetric information. Experimental results using both synthetic and real data demonstrate that our Polarimetric MVIR can reconstruct a detailed 3D shape without assuming a specific surface material and lighting condition.
• Abstract（参考訳）: 偏光カメラは、偏光の角度(AoP)と反射光の偏光の度合い(DoP)が物体の表面の正常と関係しているため、3次元再構成に大きな可能性がある。 本稿では,多視点カラー偏光画像から抽出した幾何学的,測光的,偏光的キューを効果的に活用する,Polarimetric Multi-View Inverse Rendering (Polarimetric MVIR) と呼ばれる新しい3次元再構成手法を提案する。 カメラのポーズと初期3次元モデルとを,標準構造と多視点ステレオパイプラインを用いて幾何学的再構成により推定する。 次に,多視点rgb,aop,dop画像を用いて,測光誤差とポラリメトリック誤差を最適化することで初期モデルを洗練し,aop測定から明らかな4つの曖昧な方位角を考慮しつつ,各頂点の推定面正規値に対する効果的な制約を可能にする新しいポラリメトリックコスト関数を提案する。 ポーラリメトリック・コストの重みは、ポーラリメトリック・情報の信頼性であるDoP測定に基づいて効果的に決定される。 合成データと実データの両方を用いて実験した結果、偏光計MVIRは、特定の表面材料や照明条件を仮定することなく、詳細な3次元形状を再構築できることがわかった。

関連論文リスト

• NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
  NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。 偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。 我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
  論文  参考訳（メタデータ） (2024-06-11T09:53:18Z)
• S2P3: Self-Supervised Polarimetric Pose Prediction [55.43547228561919]
  本稿では,マルチモーダルRGB+ポラリメトリック画像から,最初の自己監督型6次元オブジェクトポーズ予測を提案する。 1) 偏光の幾何学的情報を抽出する物理モデル,2) 教師による知識蒸留方式,3) 異なる制約による自己監督的損失の定式化を含む。
  論文  参考訳（メタデータ） (2023-12-02T10:46:40Z)
• Sparse Ellipsometry: Portable Acquisition of Polarimetric SVBRDF and Shape with Unstructured Flash Photography [32.68190169944569]
  ポーラリメトリックSVBRDFと3次元形状を同時にキャプチャする携帯型ポーラリメトリック取得法を提案する。 日ではなく、総取得時間は1オブジェクトあたり20分から30分である。 本研究は, 実世界の物体の捕集された偏光量計BRDFの地上観測データと強く一致していることを示す。
  論文  参考訳（メタデータ） (2022-07-09T09:42:59Z)
• PolarFormer: Multi-camera 3D Object Detection with Polar Transformers [93.49713023975727]
  自律運転における3次元物体検出は、3次元の世界に存在する「何」と「どこに」の物体を推論することを目的としている。 既存の手法はしばしば垂直軸を持つ標準カルテ座標系を採用する。 鳥眼ビュー(BEV)におけるより正確な3次元物体検出のための新しい極変換器(PolarFormer)を,マルチカメラ2D画像のみを入力として提案する。
  論文  参考訳（メタデータ） (2022-06-30T16:32:48Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• Human Pose and Shape Estimation from Single Polarization Images [45.24275141578927]
  本研究では, 偏光誘起幾何学的手がかりを利用して, 単一偏光画像から人間のポーズと形状を推定する。 専用のデータセット(PHSPD)が構築されており、正確なポーズと形状のアノテーションを備えた500Kフレーム以上で構成されている。 偏光カメラは、人間のポーズと形状を推定するための従来のRGBカメラに代わる有望な選択肢として提案されている。
  論文  参考訳（メタデータ） (2021-08-15T22:56:18Z)
• Deep Polarization Imaging for 3D shape and SVBRDF Acquisition [7.86578678811226]
  偏光キューを用いた3次元物体の形状と空間的反射率を効率よく取得する新しい手法を提案する。 偏光イメージングを深層学習と組み合わせることで,物体や物体の出現を一定の制約下で推定する従来の研究と異なり,このような制約を解消する。 我々は,フラッシュ照明とともにディープラーニングを用いた最近の研究と比較して,優れた結果を得るためのアプローチを実証する。
  論文  参考訳（メタデータ） (2021-05-06T17:58:43Z)
• Polarimetric Multi-View Inverse Rendering [13.391866136230165]
  偏光カメラは、反射光の偏光角(AoP)が物体の表面の正常と関係しているため、3次元再構成に大きな可能性がある。 入力された多視点カラー偏光画像から抽出した幾何的・測光的・偏光的手がかりを利用するポラリメトリック・マルチビュー逆レンダリング(Polarimetric MVIR)と呼ばれる新しい3次元再構成手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T09:00:20Z)
• Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset for Spatially Varying Isotropic Materials [65.95928593628128]
  多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。 我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
  論文  参考訳（メタデータ） (2020-01-18T12:26:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。