論文の概要: DeepPS2: Revisiting Photometric Stereo Using Two Differently Illuminated Images

• arxiv url: http://arxiv.org/abs/2207.02025v1
• Date: Tue, 5 Jul 2022 13:14:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-06 19:49:35.548439
• Title: DeepPS2: Revisiting Photometric Stereo Using Two Differently Illuminated Images
• Title（参考訳）: DeepPS2:2つの異なる照明画像を用いた測光ステレオの再検討
• Authors: Ashish Tiwari and Shanmuganathan Raman
• Abstract要約: 光度ステレオは、異なる照明下で撮影された物体の画像を用いて3次元表面の正常性を取り戻す問題である。 Inverse rendering-based deep learning framework called DeepPS2, which are jointly performed surface normal, albedo, lighting estimation, and image relighting。
• 参考スコア（独自算出の注目度）: 27.58399208954106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Photometric stereo, a problem of recovering 3D surface normals using images of an object captured under different lightings, has been of great interest and importance in computer vision research. Despite the success of existing traditional and deep learning-based methods, it is still challenging due to: (i) the requirement of three or more differently illuminated images, (ii) the inability to model unknown general reflectance, and (iii) the requirement of accurate 3D ground truth surface normals and known lighting information for training. In this work, we attempt to address an under-explored problem of photometric stereo using just two differently illuminated images, referred to as the PS2 problem. It is an intermediate case between a single image-based reconstruction method like Shape from Shading (SfS) and the traditional Photometric Stereo (PS), which requires three or more images. We propose an inverse rendering-based deep learning framework, called DeepPS2, that jointly performs surface normal, albedo, lighting estimation, and image relighting in a completely self-supervised manner with no requirement of ground truth data. We demonstrate how image relighting in conjunction with image reconstruction enhances the lighting estimation in a self-supervised setting.
• Abstract（参考訳）: 光度ステレオは、異なる照明下で撮影された物体の画像を用いて3次元表面の正常を回復する問題であり、コンピュータビジョン研究において大きな関心を集めている。 従来のディープ・ラーニング・ベースの手法は成功したが、それでもなお困難である。 (i)3つ以上の異なる照明画像の要求。 (ii)未知の一般反射率をモデル化できないこと、 (iii) 訓練のための正確な3次元地中面正規値と既知の照明情報の必要性。 そこで本研究では,PS2問題と呼ばれる2つの異なる照明画像を用いて,光度ステレオの未探索問題に対処する。 これは、シェーディングの形状(SfS)や3つ以上の画像を必要とする従来の測光ステレオ(PS)のような単一の画像ベースの再構成手法の中間ケースである。 本稿では,DeepPS2と呼ばれる逆レンダリングに基づく深層学習フレームワークを提案する。 画像再構成と併用することで,自己監督環境における照明推定が向上することを示す。

関連論文リスト

• Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
  Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。 事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。 これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
  論文  参考訳（メタデータ） (2024-07-15T07:16:11Z)
• DiFaReli: Diffusion Face Relighting [13.000032155650835]
  野生でのワンビューリライティングに新しいアプローチを提案する。 グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。 標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:03:20Z)
• Self-calibrating Photometric Stereo by Neural Inverse Rendering [88.67603644930466]
  本稿では3次元オブジェクト再構成のための非校正光度ステレオの課題に取り組む。 本研究では,物体形状,光方向,光強度を協調的に最適化する手法を提案する。 本手法は,実世界のデータセット上での光推定と形状復元における最先端の精度を示す。
  論文  参考訳（メタデータ） (2022-07-16T02:46:15Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Deep Portrait Lighting Enhancement with 3D Guidance [24.01582513386902]
  顔の3次元誘導に基づくポートレートライティング向上のための新しいディープラーニングフレームワークを提案する。 FFHQデータセットと画像内画像による実験結果から,提案手法は定量的な計測値と視覚的品質の両方の観点から,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-08-04T15:49:09Z)
• Shape, Illumination, and Reflectance from Shading [86.71603503678216]
  コンピュータビジョンにおける根本的な問題は、フラットな2次元画像から世界の本質的な3次元構造を推定することである。 表面は滑らかである傾向があり、塗料は均一である傾向があり、照明は自然である傾向にある。 我々の技術は、いくつかの古典的なコンピュータビジョン問題のスーパーセットと見なすことができる。
  論文  参考訳（メタデータ） (2020-10-07T18:14:41Z)
• A CNN Based Approach for the Near-Field Photometric Stereo Problem [26.958763133729846]
  我々は、フォトメトリックステレオにおける現実的な仮定を処理できる最初のCNNベースのアプローチを提案する。 我々は、遠距離場光度ステレオに対するディープニューラルネットワークの最近の改良を活用し、ニアフィールド設定に適応する。 本手法は, 合成実験と実実験の両方において, 最先端の近距離場光度ステレオ法より優れる。
  論文  参考訳（メタデータ） (2020-09-12T13:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。