論文の概要: SS-SfP:Neural Inverse Rendering for Self Supervised Shape from (Mixed) Polarization

• arxiv url: http://arxiv.org/abs/2407.09294v1
• Date: Fri, 12 Jul 2024 14:29:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-15 23:18:28.529602
• Title: SS-SfP:Neural Inverse Rendering for Self Supervised Shape from (Mixed) Polarization
• Title（参考訳）: SS-SfP:(混合)偏光による自己監督形状のニューラル逆レンダリング
• Authors: Ashish Tiwari, Shanmuganathan Raman,
• Abstract要約: 偏光の形状 (SfP) は偏光の形状 (SfP) として知られる問題である。 単視点偏光画像から物体やシーンの3次元形状(画素表面の正規度と深さ)を推定する逆レンダリングに基づく新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 21.377923666134116
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a novel inverse rendering-based framework to estimate the 3D shape (per-pixel surface normals and depth) of objects and scenes from single-view polarization images, the problem popularly known as Shape from Polarization (SfP). The existing physics-based and learning-based methods for SfP perform under certain restrictions, i.e., (a) purely diffuse or purely specular reflections, which are seldom in the real surfaces, (b) availability of the ground truth surface normals for direct supervision that are hard to acquire and are limited by the scanner's resolution, and (c) known refractive index. To overcome these restrictions, we start by learning to separate the partially-polarized diffuse and specular reflection components, which we call reflectance cues, based on a modified polarization reflection model and then estimate shape under mixed polarization through an inverse-rendering based self-supervised deep learning framework called SS-SfP, guided by the polarization data and estimated reflectance cues. Furthermore, we also obtain the refractive index as a non-linear least squares solution. Through extensive quantitative and qualitative evaluation, we establish the efficacy of the proposed framework over simple single-object scenes from DeepSfP dataset and complex in-the-wild scenes from SPW dataset in an entirely self-supervised setting. To the best of our knowledge, this is the first learning-based approach to address SfP under mixed polarization in a completely self-supervised framework.
• Abstract（参考訳）: 本研究では,一視点偏光画像から物体やシーンの3次元形状(画素ごとの表面の正規度と深さ)を推定する,新しい逆レンダリングベースのフレームワークを提案する。 SfPの既存の物理学的および学習的手法は、一定の制約の下で、すなわち、実行する。 a) 本物の表面ではめったにない純粋に拡散する、または純粋に特異な反射 ロ スキャン装置の解像度により取得が困難で制限された直接監督のための地上真理面法則の利用可能性及び (c) 既知の屈折率。 これらの制約を克服するために、我々は、修正偏光反射モデルに基づいて反射率キューと呼ばれる部分偏光とスペクトル反射成分を分離し、その後、逆レンダリングに基づくSS-SfPと呼ばれる自己教師付き深層学習フレームワークを用いて混合偏光下での形状を推定し、偏光データと推定反射キューで導かれる。 さらに, 屈折率を非線形最小二乗解として求める。 広範に定量的かつ質的な評価を行うことで、DeepSfPデータセットからの単純な単一オブジェクトシーンとSPWデータセットからの複雑なインザワイルドシーンに対して、完全に自己教師された設定で、提案フレームワークの有効性を確立した。 我々の知る限りでは、これは完全に自己管理されたフレームワークで混合分極下でSfPに対処する学習ベースの最初のアプローチである。

関連論文リスト

• Video Frame Interpolation for Polarization via Swin-Transformer [9.10220649654041]
  ビデオフレーム補間 (VFI) は広く研究され、実証されてきたが、偏光への応用は未解明のままである。 本研究では,Swin-Transformerに基づくマルチステージ・マルチスケールネットワークSwin-VFIを提案する。 実験の結果,全てのタスクにおいて,提案手法の再現精度が優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-17T09:48:54Z)
• NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
  NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。 偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。 我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
  論文  参考訳（メタデータ） (2024-06-11T09:53:18Z)
• NeISF: Neural Incident Stokes Field for Geometry and Material Estimation [50.588983686271284]
  多視点逆レンダリングは、異なる視点で撮影された一連の画像から形状、材料、照明などのシーンパラメータを推定する問題である。 本稿では,偏光手がかりを用いた曖昧さを低減する多視点逆フレームワークNeISFを提案する。
  論文  参考訳（メタデータ） (2023-11-22T06:28:30Z)
• Transparent Shape from a Single View Polarization Image [6.18278691318801]
  本稿では,一視点偏光画像から透明表面を推定する学習手法を提案する。 従来の偏光法(SfP)法では、固有の透過干渉が物理に基づく事前の信頼性を大幅に低下させるため、透明な形状を推定することが困難である。
  論文  参考訳（メタデータ） (2022-04-13T12:24:32Z)
• Shape from Polarization for Complex Scenes in the Wild [93.65746187211958]
  単一偏光画像からシーンレベルの正規推定を行うために,物理量に基づく新しいデータ駆動手法を提案する。 実世界のシーンレベルのSfPデータセットに、ペア化された入力偏光画像と接地トラス正規地図をコントリビュートする。 我々の訓練されたモデルは、偏光と表面の正常値の関係が距離に影響されないため、遠距離場屋外シーンに一般化することができる。
  論文  参考訳（メタデータ） (2021-12-21T17:30:23Z)
• Deep Polarization Imaging for 3D shape and SVBRDF Acquisition [7.86578678811226]
  偏光キューを用いた3次元物体の形状と空間的反射率を効率よく取得する新しい手法を提案する。 偏光イメージングを深層学習と組み合わせることで,物体や物体の出現を一定の制約下で推定する従来の研究と異なり,このような制約を解消する。 我々は,フラッシュ照明とともにディープラーニングを用いた最近の研究と比較して,優れた結果を得るためのアプローチを実証する。
  論文  参考訳（メタデータ） (2021-05-06T17:58:43Z)
• Uncalibrated Neural Inverse Rendering for Photometric Stereo of General Surfaces [103.08512487830669]
  本稿では,測光ステレオ問題に対する無補間深層ニューラルネットワークフレームワークを提案する。 既存のニューラルネットワークベースの方法は、物体の正確な光方向または接地正則のいずれかまたは両方を必要とします。 本稿では,この問題に対する未調整の神経逆レンダリング手法を提案する。
  論文  参考訳（メタデータ） (2020-12-12T10:33:08Z)
• Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization [99.96632216070718]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-05T14:39:57Z)
• Polarized Reflection Removal with Perfect Alignment in the Wild [66.48211204364142]
  野生の偏光画像からの反射を除去するための新しい定式化法を提案する。 まず、既存のリフレクション除去データセットの不整合問題を同定する。 我々は100種類以上のガラスを用いた新しいデータセットを構築し、得られた透過画像は入力された混合画像と完全に一致している。
  論文  参考訳（メタデータ） (2020-03-28T13:29:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。