論文の概要: PS-Transformer: Learning Sparse Photometric Stereo Network using Self-Attention Mechanism

• arxiv url: http://arxiv.org/abs/2211.11386v1
• Date: Mon, 21 Nov 2022 11:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 21:09:32.207376
• Title: PS-Transformer: Learning Sparse Photometric Stereo Network using Self-Attention Mechanism
• Title（参考訳）: PS変換器:自己認識機構を用いたスパース測光ステレオネットワークの学習
• Authors: Satoshi Ikehata
• Abstract要約: 線形プロジェクションや最大プーリングといった事前定義された操作に基づいて、異なる照明下での深いキャリブレーションされた光度ステレオネットワークの観測を集約する。 この問題に対処するために,PS-Transformer という,複雑な画像間相互作用を適切に捉えるために,学習可能な自己認識機構を活用する,細かなキャリブレーションを施した光度ステレオネットワークを提案する。
• 参考スコア（独自算出の注目度）: 4.822598110892846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing deep calibrated photometric stereo networks basically aggregate observations under different lights based on the pre-defined operations such as linear projection and max pooling. While they are effective with the dense capture, simple first-order operations often fail to capture the high-order interactions among observations under small number of different lights. To tackle this issue, this paper presents a deep sparse calibrated photometric stereo network named {\it PS-Transformer} which leverages the learnable self-attention mechanism to properly capture the complex inter-image interactions. PS-Transformer builds upon the dual-branch design to explore both pixel-wise and image-wise features and individual feature is trained with the intermediate surface normal supervision to maximize geometric feasibility. A new synthetic dataset named CyclesPS+ is also presented with the comprehensive analysis to successfully train the photometric stereo networks. Extensive results on the publicly available benchmark datasets demonstrate that the surface normal prediction accuracy of the proposed method significantly outperforms other state-of-the-art algorithms with the same number of input images and is even comparable to that of dense algorithms which input 10$\times$ larger number of images.
• Abstract（参考訳）: 既存のディープキャリブレーションフォトメトリックステレオネットワークは、線形投影やマックスプーリングのような事前定義された操作に基づいて、異なる光の下での観測を基本的に集約する。 密接な捕獲では有効であるが、単純な一階演算では、少数の異なる光の下で観測される高次の相互作用を捉えることができないことが多い。 この問題に対処するために, 学習可能な自己認識機構を利用して複雑な画像間相互作用を適切に捕捉する, 細粒度キャリブレーションされた測光ステレオネットワーク {\it PS-Transformer} を提案する。 ps-transformerはデュアルブランチ設計を基盤とし、ピクセルと画像の両方の特徴を探索し、個々の特徴は幾何学的実現可能性の最大化のために中間面正規監督によって訓練される。 CyclesPS+と呼ばれる新しい合成データセットも、光度ステレオネットワークのトレーニングを成功させるために包括的な分析を施した。 公開ベンチマークデータセットの広範な結果は、提案手法の表面正規予測精度が、同じ入力画像数で他の最先端アルゴリズムを著しく上回り、10$\times$より多くの画像を入力する高密度アルゴリズムに匹敵することを示している。

関連論文リスト

• RMAFF-PSN: A Residual Multi-Scale Attention Feature Fusion Photometric Stereo Network [37.759675702107586]
  複雑な構造空間材料変化領域における2次元画像からの物体の正確な地図の予測は困難である。 画像の解像度の異なるステージとスケールから特徴情報を校正する手法を提案する。 このアプローチは、複雑な領域における物体のテクスチャや幾何学といった、より物理的な情報を保存する。
  論文  参考訳（メタデータ） (2024-04-11T14:05:37Z)
• Deep Uncalibrated Photometric Stereo via Inter-Intra Image Feature Fusion [17.686973510425172]
  本稿では, 深部非校正光度ステレオの新しい手法を提案する。 画像間表現を効率的に利用し、正規推定を導出する。 本手法は, 合成データと実データの両方において, 最先端の手法よりも有意に優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-08-06T03:59:54Z)
• Uncertainty-Aware Deep Multi-View Photometric Stereo [100.97116470055273]
  光度ステレオ(PS)は高周波表面の細部を復元するのに優れ、マルチビューステレオ(MVS)はPSによる低周波歪みを除去し、大域的な形状を維持するのに役立つ。 本稿では,PS と MVS の相補的強みを効果的に活用する手法を提案する。 我々は,不確実性を考慮したディープPSネットワークとディープMVSネットワークを用いて,画素ごとの表面の正規度と深さを推定する。
  論文  参考訳（メタデータ） (2022-02-26T05:45:52Z)
• Neural Architecture Search for Efficient Uncalibrated Deep Photometric Stereo [105.05232615226602]
  差別化可能なニューラルアーキテクチャサーチ(NAS)戦略を利用して、非校正型PSアーキテクチャを自動的に見つける。 DiLiGenTデータセットの実験では、自動検索されたニューラルネットワークのパフォーマンスが、最先端の未校正PSメソッドと好適に比較されている。
  論文  参考訳（メタデータ） (2021-10-11T21:22:17Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian Photometric Stereo [61.6260594326246]
  空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。 分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
  論文  参考訳（メタデータ） (2021-03-22T18:06:58Z)
• Deep Photometric Stereo for Non-Lambertian Surfaces [89.05501463107673]
  我々は、PS-FCNと呼ばれる、校正された測光ステレオのための完全な畳み込みディープネットワークを導入する。 PS-FCNは反射率観測から表面正規へのマッピングを学習し、一般的な等方反射率と未知の等方反射率で表面を処理できる。 光方向が不明な未定のシナリオに対処するため、入力画像から光方向を推定するLCNetという新しい畳み込みネットワークを導入する。
  論文  参考訳（メタデータ） (2020-07-26T15:20:53Z)
• Single Image Brightening via Multi-Scale Exposure Fusion with Hybrid Learning [48.890709236564945]
  小さいISOと小さな露光時間は、通常、背面または低い光条件下で画像をキャプチャするために使用される。 本稿では、そのような画像を明るくするために、単一の画像輝度化アルゴリズムを提案する。 提案アルゴリズムは,露出時間が大きい2つの仮想画像を生成するための,ユニークなハイブリッド学習フレームワークを含む。
  論文  参考訳（メタデータ） (2020-07-04T08:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。