論文の概要: Facial Depth and Normal Estimation using Single Dual-Pixel Camera

• arxiv url: http://arxiv.org/abs/2111.12928v1
• Date: Thu, 25 Nov 2021 05:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 16:50:24.309970
• Title: Facial Depth and Normal Estimation using Single Dual-Pixel Camera
• Title（参考訳）: デュアルカメラを用いた顔深度と正常推定
• Authors: Minjun Kang, Jaesung Choe, Hyowon Ha, Hae-Gon Jeon, Sunghoon Im, In So Kweon
• Abstract要約: DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。 これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。 近年のDPベース深度/正規推定法で最先端の性能を実現している。
• 参考スコア（独自算出の注目度）: 81.02680586859105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many mobile manufacturers recently have adopted Dual-Pixel (DP) sensors in their flagship models for faster auto-focus and aesthetic image captures. Despite their advantages, research on their usage for 3D facial understanding has been limited due to the lack of datasets and algorithmic designs that exploit parallax in DP images. This is because the baseline of sub-aperture images is extremely narrow and parallax exists in the defocus blur region. In this paper, we introduce a DP-oriented Depth/Normal network that reconstructs the 3D facial geometry. For this purpose, we collect a DP facial data with more than 135K images for 101 persons captured with our multi-camera structured light systems. It contains the corresponding ground-truth 3D models including depth map and surface normal in metric scale. Our dataset allows the proposed matching network to be generalized for 3D facial depth/normal estimation. The proposed network consists of two novel modules: Adaptive Sampling Module and Adaptive Normal Module, which are specialized in handling the defocus blur in DP images. Finally, the proposed method achieves state-of-the-art performances over recent DP-based depth/normal estimation methods. We also demonstrate the applicability of the estimated depth/normal to face spoofing and relighting.
• Abstract（参考訳）: 多くのモバイルメーカーは最近、より高速なオートフォーカスと美的イメージキャプチャのために、フラッグシップモデルにDual-Pixel(DP)センサーを採用した。 これらの利点にもかかわらず、DP画像のパララックスを利用するデータセットやアルゴリズム設計の欠如により、3D顔認証に使用される研究は限られている。 これは、サブ開口画像の基線が非常に狭く、デフォーカスぼけ領域に視差が存在するためである。 本稿では3次元顔形状を再構成するDP指向のDepth/Normalネットワークを提案する。 この目的のために,マルチカメラ構造光システムで捉えた101人の顔画像135K以上のDP顔データを収集した。 メートル法スケールでの深度マップや表面正規性を含む、対応する接地型3dモデルを含んでいる。 提案したマッチングネットワークを3次元顔深度/正規分布推定のために一般化する。 提案するネットワークは,dp画像のデフォーカスボケ処理に特化した適応サンプリングモジュールと適応正規モジュールの2つの新規モジュールから構成される。 最後に,提案手法は最近のDP-based depth/normal estimation法に対して最先端の性能を実現する。 また,顔のスプーフィングとリライトに対する深さ/正常推定の適用性を示す。

関連論文リスト

• Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
  画素レベルの画像・マルチビュー生成のための新しい手法を提案する。 従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。 本モデルにより,マルチビュー画像間の画素アライメントが向上する。
  論文  参考訳（メタデータ） (2024-08-26T04:56:41Z)
• Metric3Dv2: A Versatile Monocular Geometric Foundation Model for Zero-shot Metric Depth and Surface Normal Estimation [74.28509379811084]
  Metric3D v2は、ゼロショット距離深さと1枚の画像からの表面正規推定のための幾何学的基礎モデルである。 距離深度推定と表面正規度推定の両方の解を提案する。 本手法は, ランダムに収集したインターネット画像上での計測3次元構造の正確な復元を可能にする。
  論文  参考訳（メタデータ） (2024-03-22T02:30:46Z)
• Depth Map Denoising Network and Lightweight Fusion Network for Enhanced 3D Face Recognition [61.27785140017464]
  本稿では,ノイズを低減するために,DIIF(Denoising Implicit Image Function)に基づくDMDNet(Depth Map Denoising Network)を提案する。 さらに,光深度と標準核融合ネットワーク(LDNFNet)と呼ばれる強力な認識ネットワークを設計し,異なるモード間の特徴と相補的特徴を学習する。
  論文  参考訳（メタデータ） (2024-01-01T10:46:42Z)
• GEDepth: Ground Embedding for Monocular Depth Estimation [4.95394574147086]
  本稿では,画像からカメラパラメータを分離する新たな接地モジュールを提案する。 地下深度と残留深度を最適に組み合わせるために、地上の注意をモジュール内に設計する。 実験の結果,本手法は一般的なベンチマークで最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-09-18T17:56:06Z)
• ARAI-MVSNet: A multi-view stereo depth estimation network with adaptive depth range and depth interval [19.28042366225802]
  マルチビューステレオ(MVS)は幾何学的コンピュータビジョンの基本的な問題である。 適応的な全画素深度範囲と深度間隔を実現するために,新しい多段粗大化フレームワークを提案する。 我々のモデルは最先端の性能を達成し、競争一般化能力を得る。
  論文  参考訳（メタデータ） (2023-08-17T14:52:11Z)
• CrossDTR: Cross-view and Depth-guided Transformers for 3D Object Detection [10.696619570924778]
  そこで我々は,3次元物体検出のためのクロスビューおよび奥行き誘導変換器を提案する。 歩行者検出では既存のマルチカメラ手法を10%上回り,mAPとNDSの指標では約3%を上回りました。
  論文  参考訳（メタデータ） (2022-09-27T16:23:12Z)
• Deep and Shallow Covariance Feature Quantization for 3D Facial Expression Recognition [7.773399781313892]
  顔認識のためのマルチモーダル2D+3D特徴に基づく手法を提案する。 3次元画像から浅い特徴と,変換された2次元画像から畳み込みニューラルネットワーク(cnn)を用いた深い特徴を抽出する。 BU-3DFEおよびBosphorusデータセットで高い分類性能を達成しました。
  論文  参考訳（メタデータ） (2021-05-12T14:48:39Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。