論文の概要: Text-Guided Face Recognition using Multi-Granularity Cross-Modal Contrastive Learning

• arxiv url: http://arxiv.org/abs/2312.09367v1
• Date: Thu, 14 Dec 2023 22:04:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 17:48:33.715337
• Title: Text-Guided Face Recognition using Multi-Granularity Cross-Modal Contrastive Learning
• Title（参考訳）: マルチグラニュラリティクロスモーダルコントラスト学習を用いたテキスト誘導型顔認識
• Authors: Md Mahedi Hasan, Shoaib Meraj Sami, and Nasser Nasrabadi
• Abstract要約: テキスト誘導顔認識(TGFR)を導入し、自然言語記述の形で顔属性を統合することの影響を解析する。 TGFRは、特に低画質の画像において、既存の顔認識モデルよりも顕著に改善されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art face recognition (FR) models often experience a significant performance drop when dealing with facial images in surveillance scenarios where images are in low quality and often corrupted with noise. Leveraging facial characteristics, such as freckles, scars, gender, and ethnicity, becomes highly beneficial in improving FR performance in such scenarios. In this paper, we introduce text-guided face recognition (TGFR) to analyze the impact of integrating facial attributes in the form of natural language descriptions. We hypothesize that adding semantic information into the loop can significantly improve the image understanding capability of an FR algorithm compared to other soft biometrics. However, learning a discriminative joint embedding within the multimodal space poses a considerable challenge due to the semantic gap in the unaligned image-text representations, along with the complexities arising from ambiguous and incoherent textual descriptions of the face. To address these challenges, we introduce a face-caption alignment module (FCAM), which incorporates cross-modal contrastive losses across multiple granularities to maximize the mutual information between local and global features of the face-caption pair. Within FCAM, we refine both facial and textual features for learning aligned and discriminative features. We also design a face-caption fusion module (FCFM) that applies fine-grained interactions and coarse-grained associations among cross-modal features. Through extensive experiments conducted on three face-caption datasets, proposed TGFR demonstrates remarkable improvements, particularly on low-quality images, over existing FR models and outperforms other related methods and benchmarks.
• Abstract（参考訳）: 最先端の顔認識(FR)モデルは、画像の品質が低くノイズで劣化する監視シナリオにおいて、顔画像を扱う場合、大きなパフォーマンス低下を経験することが多い。 フレックル、傷跡、性別、民族といった顔の特徴を活用することは、このようなシナリオにおけるFRのパフォーマンスを改善する上で非常に有益である。 本稿では,テキスト誘導顔認識(TGFR)を導入し,自然言語記述の形で顔属性を統合することの影響を分析する。 ループに意味情報を加えることで、他のソフトバイオメトリックスと比較してfrアルゴリズムの画像理解能力を大幅に改善できると仮定した。 しかし、マルチモーダル空間への識別的関節埋め込みの学習は、不整合な画像テキスト表現のセマンティックなギャップと、顔の曖昧さと不整合なテキスト記述から生じる複雑さにより、かなりの課題を生んでいる。 これらの課題に対処するために,複数の粒度にまたがるクロスモーダルなコントラスト損失を組み込んだFCAM(face-caption alignment module)を導入し,その局所的特徴とグローバル的特徴の相互情報を最大化する。 FCAMでは, 顔とテキストの両特徴を改良し, 一致した特徴と識別的特徴を学習する。 また, 細粒度相互作用と粗粒度関連をクロスモーダル特徴間で適用できるFCFMを設計した。 3つのフェースキャプションデータセットで実施された広範な実験を通じて、提案されたTGFRは、特に低画質の画像において、既存のFRモデルよりも顕著な改善を示し、他の関連するメソッドやベンチマークを上回っている。

関連論文リスト

• From Pixels to Words: Leveraging Explainability in Face Recognition through Interactive Natural Language Processing [2.7568948557193287]
  顔認識(FR)は深層学習の発展とともに大きく進歩し、いくつかの応用において高い精度を実現している。 これらのシステムの解釈可能性の欠如は、説明責任、公平性、信頼性に関する懸念を引き起こす。 モデルに依存しない説明可能な人工知能(XAI)と自然言語処理(NLP)技術を組み合わせることにより、FRモデルの説明可能性を高めるインタラクティブなフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T13:40:39Z)
• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• Improving Face Recognition from Caption Supervision with Multi-Granular Contextual Feature Aggregation [0.0]
  我々は,COTS(Commercial-off-the-Shelf)顔認識システムの性能向上のための新しいフレームワークとして,キャプション誘導顔認識(CGFR)を導入した。 本稿では,2つの顔認識モデル(ArcFaceとAdaFace)にCGFRフレームワークを実装し,その性能をマルチモーダルCelebA-HQデータセットで評価した。
  論文  参考訳（メタデータ） (2023-08-13T23:52:15Z)
• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• More comprehensive facial inversion for more effective expression recognition [8.102564078640274]
  IFER(Inversion FER)と呼ばれるFERタスクの画像反転機構に基づく新しい生成手法を提案する。 ASITは、分布アライメント損失に制約された、ソースと生成された画像間のセマンティック特徴のコサイン類似度を測定する画像反転判別器を備えている。 FFHQやCelebA-HQなどの顔データセット上でASITを広範囲に評価し,現状の顔インバージョン性能を実現する方法を示した。
  論文  参考訳（メタデータ） (2022-11-24T12:31:46Z)
• Two-stage Visual Cues Enhancement Network for Referring Image Segmentation [89.49412325699537]
  Referring Image (RIS)は、ある自然言語表現によって参照される画像から対象のオブジェクトをセグメント化することを目的としている。 本稿では,2段階のビジュアルキュー拡張ネットワーク(TV-Net)を考案し,この問題に対処する。 この2段階の強化により,提案するTV-Netは,自然言語表現と画像間のきめ細かいマッチング動作の学習において,より優れた性能を享受できる。
  論文  参考訳（メタデータ） (2021-10-09T02:53:39Z)
• Self-supervised Contrastive Learning of Multi-view Facial Expressions [9.949781365631557]
  顔表情認識(FER)は,人間とコンピュータのインタラクションシステムにおいて重要な構成要素である。 本稿では,多視点表情のコントラスト学習(CL-MEx)を提案する。
  論文  参考訳（メタデータ） (2021-08-15T11:23:34Z)
• Multi-Margin based Decorrelation Learning for Heterogeneous Face Recognition [90.26023388850771]
  本稿では,超球面空間におけるデコリレーション表現を抽出するディープニューラルネットワーク手法を提案する。 提案するフレームワークは,不均一表現ネットワークとデコリレーション表現学習の2つのコンポーネントに分けることができる。 2つの難解な異種顔データベースに対する実験結果から,本手法は検証タスクと認識タスクの両方において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-05-25T07:01:12Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)
• Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
  顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。 提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。 実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
  論文  参考訳（メタデータ） (2020-02-06T10:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。