論文の概要: Confidence-Aware RGB-D Face Recognition via Virtual Depth Synthesis

• arxiv url: http://arxiv.org/abs/2403.06529v2
• Date: Sat, 16 Mar 2024 12:18:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 01:21:18.022007
• Title: Confidence-Aware RGB-D Face Recognition via Virtual Depth Synthesis
• Title（参考訳）: 仮想深度合成による信頼度を考慮したRGB-D顔認識
• Authors: Zijian Chen, Mei Wang, Weihong Deng, Hongzhi Shi, Dongchao Wen, Yingjie Zhang, Xingchen Cui, Jian Zhao,
• Abstract要約: 2D顔認証は、照明、閉塞、ポーズの変化により、制約のない環境において課題に遭遇する。 近年の研究では、深度情報を組み込んだRGB-D顔認証に焦点が当てられている。 本研究では,まず,深度モデル事前学習のための3次元Morphable Modelsによって生成された多様な深度データセットを構築する。 そこで本研究では,手軽に利用できるRGBと深度モデルを利用したドメイン非依存の事前学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 48.59382455101753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 2D face recognition encounters challenges in unconstrained environments due to varying illumination, occlusion, and pose. Recent studies focus on RGB-D face recognition to improve robustness by incorporating depth information. However, collecting sufficient paired RGB-D training data is expensive and time-consuming, hindering wide deployment. In this work, we first construct a diverse depth dataset generated by 3D Morphable Models for depth model pre-training. Then, we propose a domain-independent pre-training framework that utilizes readily available pre-trained RGB and depth models to separately perform face recognition without needing additional paired data for retraining. To seamlessly integrate the two distinct networks and harness the complementary benefits of RGB and depth information for improved accuracy, we propose an innovative Adaptive Confidence Weighting (ACW). This mechanism is designed to learn confidence estimates for each modality to achieve modality fusion at the score level. Our method is simple and lightweight, only requiring ACW training beyond the backbone models. Experiments on multiple public RGB-D face recognition benchmarks demonstrate state-of-the-art performance surpassing previous methods based on depth estimation and feature fusion, validating the efficacy of our approach.
• Abstract（参考訳）: 2D顔認証は、照明、閉塞、ポーズの変化により、制約のない環境において課題に遭遇する。 近年の研究では、深度情報を組み込んだRGB-D顔認証に焦点が当てられている。 しかし、十分なペアリングRGB-Dトレーニングデータの収集は高価で時間を要するため、広範なデプロイメントを妨げる。 本研究では,まず,深度モデル事前学習のための3次元Morphable Modelsによって生成された多様な深度データセットを構築する。 そこで本研究では,手軽に利用できるRGBと深度モデルを利用したドメイン非依存の事前学習フレームワークを提案する。 2つの異なるネットワークをシームレスに統合し、RGBと深度情報の相補的な利点を活用して精度を向上させるために、革新的な適応信頼度重み付け(ACW)を提案する。 このメカニズムは、各モダリティに対する信頼度推定を学習し、スコアレベルでモダリティ融合を達成するように設計されている。 我々の手法はシンプルで軽量であり、バックボーンモデルを超えたACWトレーニングが必要である。 複数の公立RGB-D顔認証ベンチマーク実験では, 従来の手法を上回り, 深度推定と特徴融合による性能評価を行い, 提案手法の有効性を検証した。

関連論文リスト

• Depth-based Privileged Information for Boosting 3D Human Pose Estimation on RGB [48.31210455404533]
  ヒートマップに基づく3Dポーズ推定器は、推定時に与えられるRGBフレームから深度情報を幻覚することができる。 深度情報は、RGBベースの幻覚ネットワークを強制して、深度データのみに基づいて事前訓練されたバックボーンに類似した特徴を学習することによって、トレーニング中にのみ使用される。
  論文  参考訳（メタデータ） (2024-09-17T11:59:34Z)
• Egocentric RGB+Depth Action Recognition in Industry-Like Settings [50.38638300332429]
  本研究は,産業的な環境下での自我中心のRGBとDepthモダリティからの行動の認識に焦点を当てる。 我々のフレームワークは、RGBとDepthの両方のモダリティを効果的に符号化する3DビデオSWIN変換器に基づいている。 また,ICIAP 2023におけるマルチモーダル動作認識チャレンジにおいて,本手法が第1位を確保した。
  論文  参考訳（メタデータ） (2023-09-25T08:56:22Z)
• Improving 2D face recognition via fine-level facial depth generation and RGB-D complementary feature learning [0.8223798883838329]
  顔深度生成ネットワークと改良されたマルチモーダル補完特徴学習ネットワークを提案する。 Lock3DFaceデータセットとIIIT-Dデータセットの実験は、提案したFFDGNetとI MCFLNetがRGB-D顔認識の精度を向上させることを示した。
  論文  参考訳（メタデータ） (2023-05-08T02:33:59Z)
• CoMAE: Single Model Hybrid Pre-training on Small-Scale RGB-D Datasets [50.6643933702394]
  本稿では,RGBと深度変調のための単一モデル自己教師型ハイブリッド事前学習フレームワークについて述べる。 我々のCoMAEは、コントラスト学習とマスク画像モデリングという2つの一般的な自己教師付き表現学習アルゴリズムを統合するためのカリキュラム学習戦略を提示している。
  論文  参考訳（メタデータ） (2023-02-13T07:09:45Z)
• DeepRM: Deep Recurrent Matching for 6D Pose Refinement [77.34726150561087]
  DeepRMは、6Dポーズ改善のための新しいリカレントネットワークアーキテクチャである。 アーキテクチャにはLSTMユニットが組み込まれ、各改善ステップを通じて情報を伝達する。 DeepRMは、2つの広く受け入れられている課題データセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-28T16:18:08Z)
• Pyramidal Attention for Saliency Detection [30.554118525502115]
  本稿では,RGB画像のみを活用し,RGBから深度を推定し,中間深度特性を利用する。 ピラミッド型アテンション構造を用いて,マルチレベル畳み込み変換器の特徴を抽出し,初期表現の処理を行う。 我々は8つのRGBおよびRGB-Dデータセット上で21と40の最先端SOD法に対する性能を著しく改善したことを報告した。
  論文  参考訳（メタデータ） (2022-04-14T06:57:46Z)
• Unsupervised Single-shot Depth Estimation using Perceptual Reconstruction [0.0]
  この研究は、生成ニューラルネットワークの分野における最新の進歩を示し、それらを活用して完全に教師なしの単発深度合成を行う。 RGB-to-deepthとdeep-to-RGB転送用の2つのジェネレータを実装し,Wasserstein-1距離と新しい知覚再構成項を用いて同時に最適化した。 本研究で得られた成果は、実世界のアプリケーションにおいて、教師なし単発深度推定の大きな可能性を示している。
  論文  参考訳（メタデータ） (2022-01-28T15:11:34Z)
• Unpaired Single-Image Depth Synthesis with cycle-consistent Wasserstein GANs [1.0499611180329802]
  実環境深度のリアルタイム推定は、様々な自律システムタスクにとって必須のモジュールである。 本研究では、生成型ニューラルネットワークの分野における最近の進歩を、教師なしの単一画像深度合成に活用する。
  論文  参考訳（メタデータ） (2021-03-31T09:43:38Z)
• Is Depth Really Necessary for Salient Object Detection? [50.10888549190576]
  本稿では,RGB情報のみを推論の入力とする統合深度認識フレームワークの実現に向けた最初の試みを行う。 5つの公開RGB SODベンチマークの最先端のパフォーマンスを上回るだけでなく、5つのベンチマークのRGBDベースのメソッドを大きく上回っている。
  論文  参考訳（メタデータ） (2020-05-30T13:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。