論文の概要: Shape from Polarization for Complex Scenes in the Wild
- arxiv url: http://arxiv.org/abs/2112.11377v1
- Date: Tue, 21 Dec 2021 17:30:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-22 14:08:47.259151
- Title: Shape from Polarization for Complex Scenes in the Wild
- Title(参考訳): 野生の複雑な場面における偏光からの形状
- Authors: Chenyang Lei, Chenyang Qi, Jiaxin Xie, Na Fan, Vladlen Koltun, Qifeng
Chen
- Abstract要約: 単一偏光画像からシーンレベルの正規推定を行うために,物理量に基づく新しいデータ駆動手法を提案する。
実世界のシーンレベルのSfPデータセットに、ペア化された入力偏光画像と接地トラス正規地図をコントリビュートする。
我々の訓練されたモデルは、偏光と表面の正常値の関係が距離に影響されないため、遠距離場屋外シーンに一般化することができる。
- 参考スコア(独自算出の注目度): 93.65746187211958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new data-driven approach with physics-based priors to
scene-level normal estimation from a single polarization image. Existing shape
from polarization (SfP) works mainly focus on estimating the normal of a single
object rather than complex scenes in the wild. A key barrier to high-quality
scene-level SfP is the lack of real-world SfP data in complex scenes. Hence, we
contribute the first real-world scene-level SfP dataset with paired input
polarization images and ground-truth normal maps. Then we propose a
learning-based framework with a multi-head self-attention module and viewing
encoding, which is designed to handle increasing polarization ambiguities
caused by complex materials and non-orthographic projection in scene-level SfP.
Our trained model can be generalized to far-field outdoor scenes as the
relationship between polarized light and surface normals is not affected by
distance. Experimental results demonstrate that our approach significantly
outperforms existing SfP models on two datasets. Our dataset and source code
will be publicly available at \url{https://github.com/ChenyangLEI/sfp-wild}.
- Abstract(参考訳): 単一偏光画像からシーンレベルの正規推定を行うために,物理量に基づく新しいデータ駆動手法を提案する。
既存の偏光からの形状(SfP)は主に、野生の複雑なシーンではなく、単一の物体の正常さを推定することに焦点を当てている。
高品質のシーンレベルのSfPの鍵となる障壁は、複雑なシーンにおける現実世界のSfPデータの欠如である。
そこで本研究では,入力偏光画像と地対正規写像を併用した,実世界初のsfpデータセットを提案する。
次に,シーンレベルのSfPにおける複雑な材料や非オーソグラフィー投影による偏光曖昧性の増加に対応するために,マルチヘッド自己認識モジュールと視聴符号化を備えた学習ベースフレームワークを提案する。
偏光と表面の正常性の関係は距離に影響されないため,練習したモデルは遠方界の屋外シーンに一般化することができる。
実験結果から,本手法は既存のSfPモデルよりも優れていることがわかった。
我々のデータセットとソースコードは \url{https://github.com/ChenyangLEI/sfp-wild} で公開されます。
関連論文リスト
- NeISF: Neural Incident Stokes Field for Geometry and Material Estimation [50.588983686271284]
多視点逆レンダリングは、異なる視点で撮影された一連の画像から形状、材料、照明などのシーンパラメータを推定する問題である。
本稿では,偏光手がかりを用いた曖昧さを低減する多視点逆フレームワークNeISFを提案する。
論文 参考訳(メタデータ) (2023-11-22T06:28:30Z) - Light Field Diffusion for Single-View Novel View Synthesis [32.59286750410843]
NVS(Single-view novel view synthesis)は、コンピュータビジョンにおいて重要であるが困難である。
NVSの最近の進歩は、高忠実度画像を生成するのに優れた能力として、Denoising Diffusion Probabilistic Models (DDPMs)を活用している。
光電界拡散(LFD)は,従来のカメラポーズ行列への依存を超越した,条件拡散に基づく新しいアプローチである。
論文 参考訳(メタデータ) (2023-09-20T03:27:06Z) - Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。
我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。
私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
論文 参考訳(メタデータ) (2023-04-20T04:05:22Z) - A Geometric Model for Polarization Imaging on Projective Cameras [5.381004207943598]
一般射影カメラが光偏光状態をどのように捉えているかを記述する幾何学的モデルを提案する。
本モデルは, 原画像に作用する前処理操作として実装され, その後, 再構成された正規フィールドの画素単位の回転が続く。
既存のデータセットと新しいデータセットの実験は、市販の偏光カメラに適用した場合のモデルの精度を示している。
論文 参考訳(メタデータ) (2022-11-29T17:12:26Z) - Deep Demosaicing for Polarimetric Filter Array Cameras [7.39819574829298]
そこで本研究では,カメラ画像を直接画素ごとのStokesベクトルに復調するCNNモデルを提案する。
実世界の学習データを効果的に取得するための,コンシューマLCD画面を用いた新しい手法を提案する。
論文 参考訳(メタデータ) (2022-11-24T17:41:50Z) - Learning-based Inverse Rendering of Complex Indoor Scenes with
Differentiable Monte Carlo Raytracing [27.96634370355241]
本研究はモンテカルロ線トレーシングと重要サンプリングを組み合わせたエンドツーエンドの学習ベースの逆レンダリングフレームワークを提案する。
このフレームワークは1枚の画像を入力として、基礎となる幾何学、空間的に変化する照明、およびフォトリアリスティックな材料を共同で復元する。
論文 参考訳(メタデータ) (2022-11-06T03:34:26Z) - HSurf-Net: Normal Estimation for 3D Point Clouds by Learning Hyper
Surfaces [54.77683371400133]
本稿では,ノイズと密度の変動のある点群から正規性を正確に予測できるHSurf-Netという新しい正規推定手法を提案する。
実験結果から, HSurf-Netは, 合成形状データセット上での最先端性能を実現することがわかった。
論文 参考訳(メタデータ) (2022-10-13T16:39:53Z) - Deep Photometric Stereo for Non-Lambertian Surfaces [89.05501463107673]
我々は、PS-FCNと呼ばれる、校正された測光ステレオのための完全な畳み込みディープネットワークを導入する。
PS-FCNは反射率観測から表面正規へのマッピングを学習し、一般的な等方反射率と未知の等方反射率で表面を処理できる。
光方向が不明な未定のシナリオに対処するため、入力画像から光方向を推定するLCNetという新しい畳み込みネットワークを導入する。
論文 参考訳(メタデータ) (2020-07-26T15:20:53Z) - Light Field Spatial Super-resolution via Deep Combinatorial Geometry
Embedding and Structural Consistency Regularization [99.96632216070718]
ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。
LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。
本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
論文 参考訳(メタデータ) (2020-04-05T14:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。