論文の概要: Multi-Energy Guided Image Translation with Stochastic Differential
Equations for Near-Infrared Facial Expression Recognition
- arxiv url: http://arxiv.org/abs/2312.05908v1
- Date: Sun, 10 Dec 2023 15:17:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 18:03:31.317944
- Title: Multi-Energy Guided Image Translation with Stochastic Differential
Equations for Near-Infrared Facial Expression Recognition
- Title（参考訳）: 近赤外表情認識のための確率微分方程式を用いた多エネルギー誘導画像変換
- Authors: Bingjun Luo, Zewen Wang, Jinpeng Wang, Junjie Zhu, Xibin Zhao, Yue Gao
- Abstract要約: 小型NIRデータに収まる不均一なモダリティ間での顔表現を変換するNIR-SDEを提案する。
NFER-SDEはNIR FERの性能を大幅に改善し、2つの利用可能なNIR FERデータセットで最先端の結果を得る。
- 参考スコア（独自算出の注目度）: 32.34873680472637
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Illumination variation has been a long-term challenge in real-world facial
expression recognition(FER). Under uncontrolled or non-visible light
conditions, Near-infrared (NIR) can provide a simple and alternative solution
to obtain high-quality images and supplement the geometric and texture details
that are missing in the visible domain. Due to the lack of existing large-scale
NIR facial expression datasets, directly extending VIS FER methods to the NIR
spectrum may be ineffective. Additionally, previous heterogeneous image
synthesis methods are restricted by low controllability without prior task
knowledge. To tackle these issues, we present the first approach, called for
NIR-FER Stochastic Differential Equations (NFER-SDE), that transforms face
expression appearance between heterogeneous modalities to the overfitting
problem on small-scale NIR data. NFER-SDE is able to take the whole VIS source
image as input and, together with domain-specific knowledge, guide the
preservation of modality-invariant information in the high-frequency content of
the image. Extensive experiments and ablation studies show that NFER-SDE
significantly improves the performance of NIR FER and achieves state-of-the-art
results on the only two available NIR FER datasets, Oulu-CASIA and Large-HFE.
- Abstract（参考訳）: 照度変化は、現実世界の表情認識(FER)において長期にわたる課題である。
非制御または可視光条件下では、近赤外(NIR)は、高画質の画像を取得し、可視領域に欠けている幾何学的およびテクスチャ的詳細を補うための単純で代替的なソリューションを提供することができる。
既存の大規模なNIR表情データセットがないため、VIS FERメソッドを直接NIRスペクトルに拡張することは効果がない可能性がある。
さらに、従来の異種画像合成法は、タスク知識のない低制御性によって制限される。
これらの問題に対処するため、我々はNIR-FER確率微分方程式 (NFER-SDE) を初めて提案する。
NFER-SDEは、VISソースイメージ全体を入力として、ドメイン固有の知識とともに、画像の高周波コンテンツにおけるモダリティ不変情報の保存をガイドすることができる。
大規模な実験およびアブレーション研究により、NFER-SDEはNIR FERの性能を著しく改善し、唯一利用可能な2つのNIR FERデータセットであるOulu-CASIAとLarge-HFEに対して最先端の結果を得ることが示された。
関連論文リスト
- Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。
SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。
スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-19T14:24:03Z) - RN-SDEs: Limited-Angle CT Reconstruction with Residual Null-Space Diffusion Stochastic Differential Equations [11.83356524790835]
残差空間拡散微分方程式(RN-SDE)を提案する。
RN-SDEは、拡散過程を平均反転微分方程式で特徴づける拡散モデルの変種である。
学習した平均回帰SDEを先行として活用することにより、RN-SDEは高画質画像の大幅な劣化から復元し、ほとんどのLACTタスクで最先端のパフォーマンスを実現することができることを示す。
論文 参考訳（メタデータ） (2024-09-20T22:33:36Z) - NIR-Assisted Image Denoising: A Selective Fusion Approach and A Real-World Benchmark Dataset [53.79524776100983]
近赤外(NIR)画像を活用して、視認可能なRGB画像の復調を支援することで、この問題に対処する可能性を示している。
既存の作品では、NIR情報を効果的に活用して現実のイメージを飾ることに苦戦している。
先進デノナイジングネットワークにプラグイン・アンド・プレイ可能な効率的な選択核融合モジュール(SFM)を提案する。
論文 参考訳（メタデータ） (2024-04-12T14:54:26Z) - Hypergraph-Guided Disentangled Spectrum Transformer Networks for
Near-Infrared Facial Expression Recognition [31.783671943393344]
近赤外顔表情変換器(NFER-Former)を提案する。
NFER-Formerは、入力画像から表現情報とスペクトル情報を切り離して、スペクトル変動の干渉なく表現特徴を抽出する。
我々は、NFER-Formerの効率をよりよく評価するために、360個の被験者を含む大規模なNIR-VIS顔表現データセットを構築した。
論文 参考訳（メタデータ） (2023-12-10T15:15:50Z) - Rethinking the Domain Gap in Near-infrared Face Recognition [65.7871950460781]
不均一顔認識(HFR)は、視覚領域(VIS)と近赤外領域(NIR)にまたがる複雑な顔画像マッチング作業を伴う。
HFRに関する既存の文献の多くは、ドメインギャップを主要な課題と認識し、それを入力レベルまたは機能レベルでブリッジする取り組みを指示している。
大規模同質なVISデータで事前トレーニングを行った場合、大規模ニューラルネットワークはより小さなニューラルネットワークとは異なり、HFRでは例外的なゼロショット性能を示す。
論文 参考訳（メタデータ） (2023-12-01T14:43:28Z) - Denoising Diffusion Models for Plug-and-Play Image Restoration [135.6359475784627]
本稿では,従来のプラグアンドプレイ方式を拡散サンプリングフレームワークに統合したDiffPIRを提案する。
DiffPIRは、差別的なガウスのデノイザーに依存するプラグアンドプレイIR法と比較して、拡散モデルの生成能力を継承することが期待されている。
論文 参考訳（メタデータ） (2023-05-15T20:24:38Z) - Physically-Based Face Rendering for NIR-VIS Face Recognition [165.54414962403555]
近赤外(NIR)と可視(VIS)の顔マッチングは、大きなドメインギャップのために困難である。
NIR-VIS対顔画像生成のための新しい手法を提案する。
アイデンティティ特徴学習を容易にするために,IDentityに基づく最大平均離散性(ID-MMD)損失を提案する。
論文 参考訳（メタデータ） (2022-11-11T18:48:16Z) - Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration [59.02821429555375]
我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。
登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
論文 参考訳（メタデータ） (2022-05-24T07:51:57Z) - Towards Homogeneous Modality Learning and Multi-Granularity Information
Exploration for Visible-Infrared Person Re-Identification [16.22986967958162]
Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。
従来の手法では, GAN (Generative Adversarial Network) を用いて, モーダリティ・コンシデント・データを生成する手法が提案されている。
そこで本研究では、視線外デュアルモード学習をグレーグレー単一モード学習問題として再構成する、統一されたダークラインスペクトルであるAligned Grayscale Modality (AGM)を用いて、モード間マッチング問題に対処する。
論文 参考訳（メタデータ） (2022-04-11T03:03:19Z) - Infrared Image Super-Resolution via Heterogeneous Convolutional WGAN [4.6667021835430145]
我々は、ヘテロジニアスカーネルベースの超解像ワッサースタインGAN(HetSRWGAN)をIR画像の超解像に用いるフレームワークを提案する。
HetSRWGANは定性評価と定量的評価の両方において一貫して優れた性能を発揮する。
論文 参考訳（メタデータ） (2021-09-02T14:01:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。