論文の概要: RMAFF-PSN: A Residual Multi-Scale Attention Feature Fusion Photometric Stereo Network

• arxiv url: http://arxiv.org/abs/2404.07766v1
• Date: Thu, 11 Apr 2024 14:05:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 13:50:01.912091
• Title: RMAFF-PSN: A Residual Multi-Scale Attention Feature Fusion Photometric Stereo Network
• Title（参考訳）: RMAFF-PSN: 残差マルチスケールアテンション特徴融合光度ステレオネットワーク
• Authors: Kai Luo, Yakun Ju, Lin Qi, Kaixuan Wang, Junyu Dong,
• Abstract要約: 複雑な構造空間材料変化領域における2次元画像からの物体の正確な地図の予測は困難である。 画像の解像度の異なるステージとスケールから特徴情報を校正する手法を提案する。 このアプローチは、複雑な領域における物体のテクスチャや幾何学といった、より物理的な情報を保存する。
• 参考スコア（独自算出の注目度）: 37.759675702107586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting accurate normal maps of objects from two-dimensional images in regions of complex structure and spatial material variations is challenging using photometric stereo methods due to the influence of surface reflection properties caused by variations in object geometry and surface materials. To address this issue, we propose a photometric stereo network called a RMAFF-PSN that uses residual multiscale attentional feature fusion to handle the ``difficult'' regions of the object. Unlike previous approaches that only use stacked convolutional layers to extract deep features from the input image, our method integrates feature information from different resolution stages and scales of the image. This approach preserves more physical information, such as texture and geometry of the object in complex regions, through shallow-deep stage feature extraction, double branching enhancement, and attention optimization. To test the network structure under real-world conditions, we propose a new real dataset called Simple PS data, which contains multiple objects with varying structures and materials. Experimental results on a publicly available benchmark dataset demonstrate that our method outperforms most existing calibrated photometric stereo methods for the same number of input images, especially in the case of highly non-convex object structures. Our method also obtains good results under sparse lighting conditions.
• Abstract（参考訳）: 複雑な構造領域の2次元画像からオブジェクトの正確な正規マップを推定することは,物体形状や表面物質の変化による表面反射特性の影響から,光度ステレオ法を用いて難しい。 この問題に対処するため,RMAFF-PSNと呼ばれる光度ステレオネットワークを提案する。 階層化された畳み込み層のみを用いて入力画像から深い特徴を抽出する従来の手法とは異なり,本手法は画像の解像度とスケールの異なる段階から特徴情報を統合する。 このアプローチは、浅い深さのステージ特徴抽出、二重分岐強化、注意最適化を通じて、複雑な領域における物体のテクスチャや幾何学といった、より物理的な情報を保存する。 実世界の条件下でネットワーク構造をテストするために,様々な構造と材料を持つ複数のオブジェクトを含む,Simple PSデータと呼ばれる新しい実データを提案する。 提案手法は,特に非凸オブジェクト構造の場合において,同数の入力画像に対して,既存の測光ステレオ法よりも優れていることを示す。 また, 照明条件の緩やかな条件下でも良好な結果が得られた。

関連論文リスト

• Deep Learning Methods for Calibrated Photometric Stereo and Beyond [86.57469194387264]
  光度ステレオは、さまざまなシェーディングキューを持つ複数の画像から物体の表面の正常性を回復する。 深層学習法は、非ランベルト面に対する測光ステレオの文脈において強力な能力を示している。
  論文  参考訳（メタデータ） (2022-12-16T11:27:44Z)
• MS-PS: A Multi-Scale Network for Photometric Stereo With a New Comprehensive Training Dataset [0.0]
  光度ステレオ(PS)問題は、物体の3次元表面を再構成することである。 そこで我々は,PSのマルチスケールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-25T14:01:54Z)
• Deep Uncalibrated Photometric Stereo via Inter-Intra Image Feature Fusion [17.686973510425172]
  本稿では, 深部非校正光度ステレオの新しい手法を提案する。 画像間表現を効率的に利用し、正規推定を導出する。 本手法は, 合成データと実データの両方において, 最先端の手法よりも有意に優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-08-06T03:59:54Z)
• Uncertainty-Aware Deep Multi-View Photometric Stereo [100.97116470055273]
  光度ステレオ(PS)は高周波表面の細部を復元するのに優れ、マルチビューステレオ(MVS)はPSによる低周波歪みを除去し、大域的な形状を維持するのに役立つ。 本稿では,PS と MVS の相補的強みを効果的に活用する手法を提案する。 我々は,不確実性を考慮したディープPSネットワークとディープMVSネットワークを用いて,画素ごとの表面の正規度と深さを推定する。
  論文  参考訳（メタデータ） (2022-02-26T05:45:52Z)
• NeROIC: Neural Rendering of Objects from Online Image Collections [42.02832046768925]
  本稿では,オンライン画像コレクションからオブジェクト表現を取得し,任意のオブジェクトの高品質な形状と材料特性をキャプチャする手法を提案する。 これにより、新規ビュー合成、リライト、調和した背景合成など、さまざまなオブジェクト中心のレンダリングアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2022-01-07T16:45:15Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian Photometric Stereo [61.6260594326246]
  空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。 分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
  論文  参考訳（メタデータ） (2021-03-22T18:06:58Z)
• Learning Inter- and Intra-frame Representations for Non-Lambertian Photometric Stereo [14.5172791293107]
  2段階の畳み込みニューラルネットワーク(CNN)アーキテクチャを構築し、フレーム間およびフレーム内表現を構築します。 フレーム間およびフレーム間特徴抽出モジュールを配置する最適スキームを特定するために,ネットワーク設計の代替案を多数検討した。
  論文  参考訳（メタデータ） (2020-12-26T11:22:56Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。