論文の概要: Physically-Based Face Rendering for NIR-VIS Face Recognition

• arxiv url: http://arxiv.org/abs/2211.06408v1
• Date: Fri, 11 Nov 2022 18:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 16:42:52.877674
• Title: Physically-Based Face Rendering for NIR-VIS Face Recognition
• Title（参考訳）: NIR-VIS顔認識のための物理ベース顔レンダリング
• Authors: Yunqi Miao, Alexandros Lattas, Jiankang Deng, Jungong Han, Stefanos Zafeiriou
• Abstract要約: 近赤外(NIR)と可視(VIS)の顔マッチングは、大きなドメインギャップのために困難である。 NIR-VIS対顔画像生成のための新しい手法を提案する。 アイデンティティ特徴学習を容易にするために,IDentityに基づく最大平均離散性(ID-MMD)損失を提案する。
• 参考スコア（独自算出の注目度）: 165.54414962403555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Near infrared (NIR) to Visible (VIS) face matching is challenging due to the significant domain gaps as well as a lack of sufficient data for cross-modality model training. To overcome this problem, we propose a novel method for paired NIR-VIS facial image generation. Specifically, we reconstruct 3D face shape and reflectance from a large 2D facial dataset and introduce a novel method of transforming the VIS reflectance to NIR reflectance. We then use a physically-based renderer to generate a vast, high-resolution and photorealistic dataset consisting of various poses and identities in the NIR and VIS spectra. Moreover, to facilitate the identity feature learning, we propose an IDentity-based Maximum Mean Discrepancy (ID-MMD) loss, which not only reduces the modality gap between NIR and VIS images at the domain level but encourages the network to focus on the identity features instead of facial details, such as poses and accessories. Extensive experiments conducted on four challenging NIR-VIS face recognition benchmarks demonstrate that the proposed method can achieve comparable performance with the state-of-the-art (SOTA) methods without requiring any existing NIR-VIS face recognition datasets. With slightly fine-tuning on the target NIR-VIS face recognition datasets, our method can significantly surpass the SOTA performance. Code and pretrained models are released under the insightface (https://github.com/deepinsight/insightface/tree/master/recognition).
• Abstract（参考訳）: 近赤外(NIR)と可視(VIS)の顔マッチングは、重要なドメインギャップと、モダリティモデルのトレーニングに十分なデータが不足しているため、難しい。 この問題を解決するために,NIR-VIS対顔画像生成法を提案する。 具体的には、大規模な2次元顔データセットから3次元の顔形状と反射率を再構成し、VIS反射率をNIR反射率に変換する新しい方法を提案する。 次に、物理ベースのレンダラーを用いて、NIRスペクトルとVISスペクトルの様々なポーズとアイデンティティからなる、巨大で高解像度で光リアルなデータセットを生成する。 さらに,アイデンティティ特徴学習を容易にするために,IDentityに基づく最大平均離散性(ID-MMD)損失を提案する。これは,NIR画像とVIS画像のドメインレベルでのモダリティギャップを低減させるだけでなく,ポーズやアクセサリといった顔の細部ではなく,アイデンティティ機能に焦点を合わせることをネットワークに促す。 4つの挑戦的なNIR-VIS顔認識ベンチマークで実施された大規模な実験により、提案手法は既存のNIR-VIS顔認識データセットを必要とせずに、最先端(SOTA)手法と同等の性能を達成できることが示されている。 対象のNIR-VIS顔認識データセットを微調整することで,SOTAの性能を大幅に上回ることができる。 コードと事前トレーニングされたモデルはinsightface(https://github.com/deepinsight/insightface/tree/master/recognition)でリリースされている。

関連論文リスト

• Improving Neural Surface Reconstruction with Feature Priors from Multi-View Image [87.00660347447494]
  ニューラルサーフェス・コンストラクション(NSR)の最近の進歩は、ボリュームレンダリングと組み合わせることで、マルチビュー・コンストラクションを著しく改善している。 本稿では,多種多様な視覚的タスクから価値ある特徴を活用すべく,特徴レベルの一貫した損失について検討する。 DTU と EPFL を用いて解析した結果,画像マッチングと多視点ステレオデータセットによる特徴が,他のプリテキストタスクよりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-08-04T16:09:46Z)
• Hypergraph-Guided Disentangled Spectrum Transformer Networks for Near-Infrared Facial Expression Recognition [31.783671943393344]
  近赤外顔表情変換器(NFER-Former)を提案する。 NFER-Formerは、入力画像から表現情報とスペクトル情報を切り離して、スペクトル変動の干渉なく表現特徴を抽出する。 我々は、NFER-Formerの効率をよりよく評価するために、360個の被験者を含む大規模なNIR-VIS顔表現データセットを構築した。
  論文  参考訳（メタデータ） (2023-12-10T15:15:50Z)
• Improving 2D face recognition via fine-level facial depth generation and RGB-D complementary feature learning [0.8223798883838329]
  顔深度生成ネットワークと改良されたマルチモーダル補完特徴学習ネットワークを提案する。 Lock3DFaceデータセットとIIIT-Dデータセットの実験は、提案したFFDGNetとI MCFLNetがRGB-D顔認識の精度を向上させることを示した。
  論文  参考訳（メタデータ） (2023-05-08T02:33:59Z)
• Mutimodal Ranking Optimization for Heterogeneous Face Re-identification [17.987122302811404]
  不均一な顔の再識別、すなわち、不規則な可視光(VIS)と近赤外線(NIR)カメラをまたいだ異種顔のマッチングは、ビデオ監視アプリケーションにおいて重要な問題となっている。 この問題を解決するために,不均一顔再同定のための多モード融合ランキング最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-11T14:04:24Z)
• Towards NIR-VIS Masked Face Recognition [47.00916333095693]
  近赤外可視(NIR-VIS)顔認識は異種顔認識において最も一般的な症例である。 2つのドメインの顔表現で共有される相互情報を最大化するための新しいトレーニング手法を提案する。 さらに、既存のNIR画像からマスク面を合成するために、3次元顔再構成に基づくアプローチを用いる。
  論文  参考訳（メタデータ） (2021-04-14T10:40:09Z)
• Hierarchical Deep CNN Feature Set-Based Representation Learning for Robust Cross-Resolution Face Recognition [59.29808528182607]
  クロスリゾリューション顔認識(CRFR)は、インテリジェントな監視およびバイオメトリックフォレンジックにおいて重要である。 既存の浅層学習と深層学習に基づく手法は、HR-LR対を共同特徴空間にマッピングすることに焦点を当てている。 本研究では,多レベル深層畳み込みニューラルネットワーク(CNN)の機能を完全に活用し,堅牢なCRFRを実現することを目的とする。
  論文  参考訳（メタデータ） (2021-03-25T14:03:42Z)
• A NIR-to-VIS face recognition via part adaptive and relation attention module [4.822208985805956]
  顔認識アプリケーションでは、夜間に近赤外線(NIR)監視カメラで撮影するなど、様々な状況下で撮影された顔画像を処理する必要がある。 NIRと可視光(VIS)の照度の違いは、顔画像の領域差を引き起こし、ポーズや感情の変化も顔のマッチングを難しくする。 本稿では,セマンティックマスクを用いて得られた顔の部位を抽出し,それぞれの特徴を用いた関係モデリングを行う部分関係アテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2021-02-01T08:13:39Z)
• The FaceChannel: A Fast & Furious Deep Neural Network for Facial Expression Recognition [71.24825724518847]
  顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。 私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。 我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
  論文  参考訳（メタデータ） (2020-09-15T09:25:37Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。