論文の概要: Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian Photometric Stereo

• arxiv url: http://arxiv.org/abs/2103.12106v1
• Date: Mon, 22 Mar 2021 18:06:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-24 14:06:11.388828
• Title: Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian Photometric Stereo
• Title（参考訳）: キャリブレーション非ランバート測光ステレオにおける空間的・測光的コンテキストの活用
• Authors: David Honz\'atko, Engin T\"uretken, Pascal Fua, L. Andrea Dunbar
• Abstract要約: 空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。 分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
• 参考スコア（独自算出の注目度）: 61.6260594326246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of estimating a surface shape from its observed reflectance properties still remains a challenging task in computer vision. The presence of global illumination effects such as inter-reflections or cast shadows makes the task particularly difficult for non-convex real-world surfaces. State-of-the-art methods for calibrated photometric stereo address these issues using convolutional neural networks (CNNs) that primarily aim to capture either the spatial context among adjacent pixels or the photometric one formed by illuminating a sample from adjacent directions. In this paper, we bridge these two objectives and introduce an efficient fully-convolutional architecture that can leverage both spatial and photometric context simultaneously. In contrast to existing approaches that rely on standard 2D CNNs and regress directly to surface normals, we argue that using separable 4D convolutions and regressing to 2D Gaussian heat-maps severely reduces the size of the network and makes inference more efficient. Our experimental results on a real-world photometric stereo benchmark show that the proposed approach outperforms the existing methods both in efficiency and accuracy.
• Abstract（参考訳）: 観察された反射特性から表面形状を推定する問題は、コンピュータビジョンにおいて依然として難しい課題である。 インターリフレクションやキャストシャドウのような地球規模の照明効果の存在は、非凸の現実世界の表面では特に難しい。 コンボリューションニューラルネットワーク(convolutional neural network, cnns)は、隣接するピクセル間の空間的コンテキストと、隣接する方向からサンプルを照らして形成される測光ステレオのいずれかを捉えることを目的としている。 本稿では,これら2つの目的を橋渡し,空間的・測光的文脈を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。 通常の2次元CNNと直接表面正規に回帰する既存のアプローチとは対照的に、分離可能な4次元畳み込みと2次元ガウス熱マップへの回帰はネットワークのサイズを大幅に削減し、推論をより効率的にする。 実世界の測光ステレオベンチマーク実験の結果,提案手法は効率と精度の両方で既存手法よりも優れていることがわかった。

関連論文リスト

• RMAFF-PSN: A Residual Multi-Scale Attention Feature Fusion Photometric Stereo Network [37.759675702107586]
  複雑な構造空間材料変化領域における2次元画像からの物体の正確な地図の予測は困難である。 画像の解像度の異なるステージとスケールから特徴情報を校正する手法を提案する。 このアプローチは、複雑な領域における物体のテクスチャや幾何学といった、より物理的な情報を保存する。
  論文  参考訳（メタデータ） (2024-04-11T14:05:37Z)
• A Neural Height-Map Approach for the Binocular Photometric Stereo Problem [36.404880059833324]
  双眼鏡測光ステレオ(PS)フレームワークは単視PSと同じ取得速度を持つが、推定幾何の質は著しく向上する。 本手法は両眼立体装置に適応したDiLiGenT-MVデータセットの最先端性能と新しい両眼測光ステレオデータセットLUCES-STを実現する。
  論文  参考訳（メタデータ） (2023-11-10T09:45:53Z)
• Deep Learning Methods for Calibrated Photometric Stereo and Beyond [86.57469194387264]
  光度ステレオは、さまざまなシェーディングキューを持つ複数の画像から物体の表面の正常性を回復する。 深層学習法は、非ランベルト面に対する測光ステレオの文脈において強力な能力を示している。
  論文  参考訳（メタデータ） (2022-12-16T11:27:44Z)
• PS-Transformer: Learning Sparse Photometric Stereo Network using Self-Attention Mechanism [4.822598110892846]
  線形プロジェクションや最大プーリングといった事前定義された操作に基づいて、異なる照明下での深いキャリブレーションされた光度ステレオネットワークの観測を集約する。 この問題に対処するために,PS-Transformer という,複雑な画像間相互作用を適切に捉えるために,学習可能な自己認識機構を活用する,細かなキャリブレーションを施した光度ステレオネットワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T11:58:25Z)
• Self-calibrating Photometric Stereo by Neural Inverse Rendering [88.67603644930466]
  本稿では3次元オブジェクト再構成のための非校正光度ステレオの課題に取り組む。 本研究では,物体形状,光方向,光強度を協調的に最適化する手法を提案する。 本手法は,実世界のデータセット上での光推定と形状復元における最先端の精度を示す。
  論文  参考訳（メタデータ） (2022-07-16T02:46:15Z)
• Degradation-agnostic Correspondence from Resolution-asymmetric Stereo [96.03964515969652]
  テレワイドカメラシステムで取得した解像度の異なる2枚の画像からステレオマッチングの問題を考察する。 特徴量整合性という画像空間の代わりに特徴空間に2つのビュー間の整合性を課すことを提案する。 測光損失をトレーニングしたステレオマッチングネットワークは最適ではないが, 特徴抽出器は劣化に依存しない, マッチング特有の特徴を生成できる。
  論文  参考訳（メタデータ） (2022-04-04T12:24:34Z)
• Learning Inter- and Intra-frame Representations for Non-Lambertian Photometric Stereo [14.5172791293107]
  2段階の畳み込みニューラルネットワーク(CNN)アーキテクチャを構築し、フレーム間およびフレーム内表現を構築します。 フレーム間およびフレーム間特徴抽出モジュールを配置する最適スキームを特定するために,ネットワーク設計の代替案を多数検討した。
  論文  参考訳（メタデータ） (2020-12-26T11:22:56Z)
• Uncalibrated Neural Inverse Rendering for Photometric Stereo of General Surfaces [103.08512487830669]
  本稿では,測光ステレオ問題に対する無補間深層ニューラルネットワークフレームワークを提案する。 既存のニューラルネットワークベースの方法は、物体の正確な光方向または接地正則のいずれかまたは両方を必要とします。 本稿では,この問題に対する未調整の神経逆レンダリング手法を提案する。
  論文  参考訳（メタデータ） (2020-12-12T10:33:08Z)
• Deep Photometric Stereo for Non-Lambertian Surfaces [89.05501463107673]
  我々は、PS-FCNと呼ばれる、校正された測光ステレオのための完全な畳み込みディープネットワークを導入する。 PS-FCNは反射率観測から表面正規へのマッピングを学習し、一般的な等方反射率と未知の等方反射率で表面を処理できる。 光方向が不明な未定のシナリオに対処するため、入力画像から光方向を推定するLCNetという新しい畳み込みネットワークを導入する。
  論文  参考訳（メタデータ） (2020-07-26T15:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。