論文の概要: SPIDeRS: Structured Polarization for Invisible Depth and Reflectance Sensing
- arxiv url: http://arxiv.org/abs/2312.04553v2
- Date: Sun, 31 Mar 2024 10:27:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-02 14:45:23.956544
- Title: SPIDeRS: Structured Polarization for Invisible Depth and Reflectance Sensing
- Title（参考訳）: SPIDeRS:可視深度と反射センシングのための構造偏光
- Authors: Tomoki Ichikawa, Shohei Nobuhara, Ko Nishino,
- Abstract要約: 目に見えない深度・反射センシング(SPIDeRS)のための構造偏光を導入する。
鍵となる考え方は、各画素における投射光の線形偏光(AoLP)の角度を変調することである。
偏光は目に見えず、深度だけでなく、直接表面の正常や反射までも取り戻すことができます。
- 参考スコア（独自算出の注目度）: 31.605927493154656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Can we capture shape and reflectance in stealth? Such capability would be valuable for many application domains in vision, xR, robotics, and HCI. We introduce structured polarization for invisible depth and reflectance sensing (SPIDeRS), the first depth and reflectance sensing method using patterns of polarized light. The key idea is to modulate the angle of linear polarization (AoLP) of projected light at each pixel. The use of polarization makes it invisible and lets us recover not only depth but also directly surface normals and even reflectance. We implement SPIDeRS with a liquid crystal spatial light modulator (SLM) and a polarimetric camera. We derive a novel method for robustly extracting the projected structured polarization pattern from the polarimetric object appearance. We evaluate the effectiveness of SPIDeRS by applying it to a number of real-world objects. The results show that our method successfully reconstructs object shapes of various materials and is robust to diffuse reflection and ambient light. We also demonstrate relighting using recovered surface normals and reflectance. We believe SPIDeRS opens a new avenue of polarization use in visual sensing.
- Abstract（参考訳）: ステルスで形状と反射率を捉えられるか?
このような能力は、視覚、xR、ロボティクス、HCIといった多くのアプリケーション領域で有用だろう。
偏光パターンを用いた第1深度・反射センシング法SPIDeRS(Structured polarization for visible depth and Reflectance Sensor)を導入する。
鍵となる考え方は、各画素における投射光の線形偏光(AoLP)の角度を変調することである。
偏光は目に見えず、深度だけでなく、直接表面の正常や反射までも取り戻すことができます。
液晶空間光変調器(SLM)と偏光カメラを用いてSPIDeRSを実装した。
我々は、偏光度オブジェクトの外観から投影された構造偏光パターンを頑健に抽出する新しい手法を導出する。
実世界のオブジェクトにSPIDeRSを適用し,SPIDeRSの有効性を評価する。
提案手法は, 各種材料の物体形状の再構成に成功し, 反射光や周囲光の拡散に強いことを示す。
また,回復表面の正常値と反射率を用いたリライティングの実証を行った。
我々はSPIDeRSが視覚センシングに新しい偏光の道を開くと信じている。
関連論文リスト
- SS-SfP:Neural Inverse Rendering for Self Supervised Shape from (Mixed) Polarization [21.377923666134116]
偏光の形状 (SfP) は偏光の形状 (SfP) として知られる問題である。
単視点偏光画像から物体やシーンの3次元形状(画素表面の正規度と深さ)を推定する逆レンダリングに基づく新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-12T14:29:00Z) - NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。
偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。
我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
論文 参考訳（メタデータ） (2024-06-11T09:53:18Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。
本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。
提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-03-24T17:59:56Z) - Polarimetric Multi-View Inverse Rendering [13.391866136230165]
偏光カメラは、偏光の角度(AoP)と反射光の偏光の度合い(DoP)が物体の表面の正常と関係しているため、3次元再構成に大きな可能性がある。
入力された多視点カラー偏光画像から抽出した幾何的・測光的・偏光的手がかりを効果的に活用するポラリメトリック多視点逆レンダリング(Polarimetric Multi-View Inverse Rendering, Polarimetric MVIR)と呼ばれる新しい3次元再構成手法を提案する。
論文 参考訳（メタデータ） (2022-12-24T12:12:12Z) - Polarimetric Inverse Rendering for Transparent Shapes Reconstruction [1.807492010338763]
ポーラリメトリック・キューを用いた透明物体の詳細な再構成手法を提案する。
我々は、物体の幾何学をニューラルネットワークとして暗黙的に表現し、一方、偏光レンダリングは物体の偏光画像を描画することができる。
提案手法を検証するため,多視点透明形状再構成のための偏極データセットを構築した。
論文 参考訳（メタデータ） (2022-08-25T02:52:31Z) - Self-calibrating Photometric Stereo by Neural Inverse Rendering [88.67603644930466]
本稿では3次元オブジェクト再構成のための非校正光度ステレオの課題に取り組む。
本研究では,物体形状,光方向,光強度を協調的に最適化する手法を提案する。
本手法は,実世界のデータセット上での光推定と形状復元における最先端の精度を示す。
論文 参考訳（メタデータ） (2022-07-16T02:46:15Z) - PANDORA: Polarization-Aided Neural Decomposition Of Radiance [20.760987175553655]
逆レンダリングはコンピュータグラフィックスとビジョンの基本的な問題である。
座標ベースニューラルネットワークとしてのシーン特性の最近の進歩は、ニューラルネットワークの逆レンダリングを促進している。
暗黙的ニューラル表現に基づく偏光逆レンダリング手法であるPANDORAを提案する。
論文 参考訳（メタデータ） (2022-03-25T05:41:52Z) - NeRFactor: Neural Factorization of Shape and Reflectance Under an
Unknown Illumination [60.89737319987051]
照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。
これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
論文 参考訳（メタデータ） (2021-06-03T16:18:01Z) - Polarimetric Multi-View Inverse Rendering [13.391866136230165]
偏光カメラは、反射光の偏光角(AoP)が物体の表面の正常と関係しているため、3次元再構成に大きな可能性がある。
入力された多視点カラー偏光画像から抽出した幾何的・測光的・偏光的手がかりを利用するポラリメトリック・マルチビュー逆レンダリング(Polarimetric MVIR)と呼ばれる新しい3次元再構成手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T09:00:20Z) - Polarized Reflection Removal with Perfect Alignment in the Wild [66.48211204364142]
野生の偏光画像からの反射を除去するための新しい定式化法を提案する。
まず、既存のリフレクション除去データセットの不整合問題を同定する。
我々は100種類以上のガラスを用いた新しいデータセットを構築し、得られた透過画像は入力された混合画像と完全に一致している。
論文 参考訳（メタデータ） (2020-03-28T13:29:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。