論文の概要: Hypergraph-Guided Disentangled Spectrum Transformer Networks for
Near-Infrared Facial Expression Recognition
- arxiv url: http://arxiv.org/abs/2312.05907v1
- Date: Sun, 10 Dec 2023 15:15:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 18:03:05.516664
- Title: Hypergraph-Guided Disentangled Spectrum Transformer Networks for
Near-Infrared Facial Expression Recognition
- Title（参考訳）: 近赤外表情認識のためのハイパーグラフ誘導不等角スペクトルトランスフォーマネットワーク
- Authors: Bingjun Luo, Haowen Wang, Jinpeng Wang, Junjie Zhu, Xibin Zhao, Yue
Gao
- Abstract要約: 近赤外顔表情変換器(NFER-Former)を提案する。
NFER-Formerは、入力画像から表現情報とスペクトル情報を切り離して、スペクトル変動の干渉なく表現特徴を抽出する。
我々は、NFER-Formerの効率をよりよく評価するために、360個の被験者を含む大規模なNIR-VIS顔表現データセットを構築した。
- 参考スコア（独自算出の注目度）: 31.783671943393344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the strong robusticity on illumination variations, near-infrared (NIR)
can be an effective and essential complement to visible (VIS) facial expression
recognition in low lighting or complete darkness conditions. However, facial
expression recognition (FER) from NIR images presents more challenging problem
than traditional FER due to the limitations imposed by the data scale and the
difficulty of extracting discriminative features from incomplete visible
lighting contents. In this paper, we give the first attempt to deep NIR facial
expression recognition and proposed a novel method called near-infrared facial
expression transformer (NFER-Former). Specifically, to make full use of the
abundant label information in the field of VIS, we introduce a Self-Attention
Orthogonal Decomposition mechanism that disentangles the expression information
and spectrum information from the input image, so that the expression features
can be extracted without the interference of spectrum variation. We also
propose a Hypergraph-Guided Feature Embedding method that models some key
facial behaviors and learns the structure of the complex correlations between
them, thereby alleviating the interference of inter-class similarity.
Additionally, we have constructed a large NIR-VIS Facial Expression dataset
that includes 360 subjects to better validate the efficiency of NFER-Former.
Extensive experiments and ablation studies show that NFER-Former significantly
improves the performance of NIR FER and achieves state-of-the-art results on
the only two available NIR FER datasets, Oulu-CASIA and Large-HFE.
- Abstract（参考訳）: 照明変化に対する強い堅牢性により、近赤外(NIR)は、低照度または完全な暗黒条件下での視覚的(VIS)表情認識を効果的かつ必須に補完することができる。
しかし,NIR画像からの表情認識(FER)は,データスケールの制約や不完全な可視光コンテンツから識別的特徴を抽出することが困難であるため,従来のFERよりも困難である。
本稿では,表情認識の深化を初めて試み,近赤外式トランスフォーマ(nfer-former)と呼ばれる新しい手法を提案する。
具体的には、visの分野における豊富なラベル情報をフルに活用するために、入力画像から表現情報とスペクトル情報とを分離する自己対応直交分解機構を導入し、スペクトル変動の干渉を伴わずに表現特徴を抽出する。
また,いくつかの重要な顔動作をモデル化し,それら間の複雑な相関構造を学習し,クラス間類似性の干渉を軽減するハイパーグラフガイド機能埋め込み手法を提案する。
さらに,NFER-Formerの効率性を評価するために,360個の被験者を含む大規模なNIR-VIS顔表現データセットを構築した。
大規模な実験とアブレーション研究により、NFER-FormerはNIR FERの性能を大幅に改善し、利用可能な2つのNIR FERデータセット(Oulu-CASIAとLarge-HFE)で最先端の結果が得られることが示された。
関連論文リスト
- Frequency Domain Modality-invariant Feature Learning for
Visible-infrared Person Re-Identification [79.9402521412239]
本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。
我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
論文 参考訳（メタデータ） (2024-01-03T17:11:27Z) - Multi-Energy Guided Image Translation with Stochastic Differential
Equations for Near-Infrared Facial Expression Recognition [32.34873680472637]
小型NIRデータに収まる不均一なモダリティ間での顔表現を変換するNIR-SDEを提案する。
NFER-SDEはNIR FERの性能を大幅に改善し、2つの利用可能なNIR FERデータセットで最先端の結果を得る。
論文 参考訳（メタデータ） (2023-12-10T15:17:42Z) - Rethinking the Domain Gap in Near-infrared Face Recognition [65.7871950460781]
不均一顔認識(HFR)は、視覚領域(VIS)と近赤外領域(NIR)にまたがる複雑な顔画像マッチング作業を伴う。
HFRに関する既存の文献の多くは、ドメインギャップを主要な課題と認識し、それを入力レベルまたは機能レベルでブリッジする取り組みを指示している。
大規模同質なVISデータで事前トレーニングを行った場合、大規模ニューラルネットワークはより小さなニューラルネットワークとは異なり、HFRでは例外的なゼロショット性能を示す。
論文 参考訳（メタデータ） (2023-12-01T14:43:28Z) - Flare-Aware Cross-modal Enhancement Network for Multi-spectral Vehicle
Re-identification [29.48387524901101]
厳しい環境下では、RGBとNIRモダリティの非ネイティブな手がかりは、車両のランプや日光からの強いフレアによってしばしば失われる。
フレア崩壊したRGBとNIRの特徴をフレア免疫熱赤外スペクトルから誘導して適応的に復元するフレア・アウェア・クロスモーダル・エンハンスメント・ネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-23T04:04:24Z) - Denoising Diffusion Models for Plug-and-Play Image Restoration [135.6359475784627]
本稿では,従来のプラグアンドプレイ方式を拡散サンプリングフレームワークに統合したDiffPIRを提案する。
DiffPIRは、差別的なガウスのデノイザーに依存するプラグアンドプレイIR法と比較して、拡散モデルの生成能力を継承することが期待されている。
論文 参考訳（メタデータ） (2023-05-15T20:24:38Z) - Physically-Based Face Rendering for NIR-VIS Face Recognition [165.54414962403555]
近赤外(NIR)と可視(VIS)の顔マッチングは、大きなドメインギャップのために困難である。
NIR-VIS対顔画像生成のための新しい手法を提案する。
アイデンティティ特徴学習を容易にするために,IDentityに基づく最大平均離散性(ID-MMD)損失を提案する。
論文 参考訳（メタデータ） (2022-11-11T18:48:16Z) - Generating near-infrared facial expression datasets with dimensional
affect labels [2.367786892039871]
我々は,NIR画像データセットを次元的感情ラベルで作成するための2つの補完的データ拡張手法を提案する。
実験の結果,これらの生成したNIRデータセットは,データ品質とベースライン予測性能の点で,既存のデータセットに匹敵することがわかった。
論文 参考訳（メタデータ） (2022-06-28T11:06:32Z) - Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration [59.02821429555375]
我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。
登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
論文 参考訳（メタデータ） (2022-05-24T07:51:57Z) - A Bidirectional Conversion Network for Cross-Spectral Face Recognition [1.9766522384767227]
可視光画像と赤外線画像との劇的な違いにより、スペクトル間顔認識は困難である。
本稿では,異種顔画像間の双方向クロススペクトル変換(BCSC-GAN)の枠組みを提案する。
ネットワークは、スペクトル間認識問題をスペクトル内問題に還元し、双方向情報を融合することで性能を向上させる。
論文 参考訳（メタデータ） (2022-05-03T16:20:10Z) - A Synthesis-Based Approach for Thermal-to-Visible Face Verification [105.63410428506536]
本稿では,ARL-VTFおよびTUFTSマルチスペクトル顔データセット上での最先端性能を実現するアルゴリズムを提案する。
MILAB-VTF(B)も提案する。
論文 参考訳（メタデータ） (2021-08-21T17:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。