Fugu-MT 論文翻訳(概要): Improving Face Recognition from Caption Supervision with Multi-Granular Contextual Feature Aggregation

論文の概要: Improving Face Recognition from Caption Supervision with Multi-Granular Contextual Feature Aggregation

arxiv url: http://arxiv.org/abs/2308.06866v1
Date: Sun, 13 Aug 2023 23:52:15 GMT
ステータス: 処理完了
システム内更新日: 2023-08-15 14:55:50.591695
Title: Improving Face Recognition from Caption Supervision with Multi-Granular Contextual Feature Aggregation
Title（参考訳）: 多面的特徴アグリゲーションによるキャプションスーパービジョンからの顔認識の改善
Authors: Md Mahedi Hasan and Nasser Nasrabadi
Abstract要約: 我々は,COTS(Commercial-off-the-Shelf)顔認識システムの性能向上のための新しいフレームワークとして,キャプション誘導顔認識(CGFR)を導入した。本稿では,2つの顔認識モデル(ArcFaceとAdaFace)にCGFRフレームワークを実装し,その性能をマルチモーダルCelebA-HQデータセットで評価した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce caption-guided face recognition (CGFR) as a new framework to improve the performance of commercial-off-the-shelf (COTS) face recognition (FR) systems. In contrast to combining soft biometrics (eg., facial marks, gender, and age) with face images, in this work, we use facial descriptions provided by face examiners as a piece of auxiliary information. However, due to the heterogeneity of the modalities, improving the performance by directly fusing the textual and facial features is very challenging, as both lie in different embedding spaces. In this paper, we propose a contextual feature aggregation module (CFAM) that addresses this issue by effectively exploiting the fine-grained word-region interaction and global image-caption association. Specifically, CFAM adopts a self-attention and a cross-attention scheme for improving the intra-modality and inter-modality relationship between the image and textual features, respectively. Additionally, we design a textual feature refinement module (TFRM) that refines the textual features of the pre-trained BERT encoder by updating the contextual embeddings. This module enhances the discriminative power of textual features with a cross-modal projection loss and realigns the word and caption embeddings with visual features by incorporating a visual-semantic alignment loss. We implemented the proposed CGFR framework on two face recognition models (ArcFace and AdaFace) and evaluated its performance on the Multi-Modal CelebA-HQ dataset. Our framework significantly improves the performance of ArcFace in both 1:1 verification and 1:N identification protocol.
Abstract（参考訳）: 商用オフ・ザ・シェルフ(COTS)顔認識(FR)システムの性能向上のための新しいフレームワークとして,キャプション誘導顔認識(CGFR)を導入した。本研究では, 顔画像とソフトバイオメトリックス(顔のマーク, 性別, 年齢など)を併用するのに対し, 顔検査者が提供した顔記述を補助情報として利用する。しかし、モダリティの不均一性のため、異なる埋め込み空間にあるため、テキスト的特徴と顔的特徴を直接融合させることによる性能の向上は非常に困難である。本稿では,細粒度な単語領域相互作用とグローバルな画像キャプチャアソシエーションを効果的に活用して,この問題に対処するコンテキスト特徴集約モジュール(CFAM)を提案する。具体的には、CFAMは、画像とテキストの特徴間のモダリティ内およびモダリティ間関係を改善するための自己注意と相互注意方式を採用する。さらに,事前学習したBERTエンコーダのテキスト特徴を,コンテキスト埋め込みを更新することで洗練するテキスト特徴改善モジュール(TFRM)を設計する。本モジュールは、クロスモーダル投影損失によるテキスト特徴の識別力を高め、視覚的アライメント損失を組み込むことで、単語とキャプションの埋め込みを視覚的特徴と認識する。提案したCGFRフレームワークを2つの顔認識モデル(ArcFaceとAdaFace)上で実装し,その性能をマルチモーダルCelebA-HQデータセットで評価した。本フレームワークは,1:1検証プロトコルと1:N識別プロトコルの両方において,ArcFaceの性能を大幅に向上させる。

関連論文リスト

FineCLIPER: Multi-modal Fine-grained CLIP for Dynamic Facial Expression Recognition with AdaptERs [5.35588281968644]
適応器を用いた動的顔表情認識のためのマルチモーダルきめ細粒度CLIP(Fine CLIPER)を提案する。我々のFine CLIPERは、パラメータが少ないDFEW、FERV39k、MAFWデータセットで調整可能なSOTA性能を実現する。
論文参考訳（メタデータ） (2024-07-02T10:55:43Z)
Improving Referring Image Segmentation using Vision-Aware Text Features [26.768147543628096]
VATEXは、視覚認識テキスト機能によるオブジェクトとコンテキスト理解の強化により、参照画像のセグメンテーションを改善する。提案手法は,RefCOCO,RefCO+,G-Ref. Codeの3つのベンチマークデータセットに対して,大幅な性能向上を実現する。
論文参考訳（メタデータ） (2024-04-12T16:38:48Z)
Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。文献における既存手法に対して,本手法は良好な性能を発揮する。
論文参考訳（メタデータ） (2024-04-01T17:48:15Z)
Class-Aware Mask-Guided Feature Refinement for Scene Text Recognition [56.968108142307976]
CAM(Class-Aware Mask-Guided Feature refinement)と呼ばれる新しい手法を提案する。本手法では,背景およびテキストスタイルのノイズを抑制するために,標準クラス対応グリフマスクを導入している。標準マスク特徴とテキスト特徴とのアライメントを強化することにより、モジュールはより効果的な融合を保証する。
論文参考訳（メタデータ） (2024-02-21T09:22:45Z)
Text-Guided Face Recognition using Multi-Granularity Cross-Modal Contrastive Learning [0.0]
テキスト誘導顔認識(TGFR)を導入し、自然言語記述の形で顔属性を統合することの影響を解析する。 TGFRは、特に低画質の画像において、既存の顔認識モデルよりも顕著に改善されている。
論文参考訳（メタデータ） (2023-12-14T22:04:22Z)
Synchronizing Vision and Language: Bidirectional Token-Masking AutoEncoder for Referring Image Segmentation [26.262887028563163]
Referring Image (RIS)は、自然言語で表現されたターゲットオブジェクトをピクセルレベルのシーン内でセグメントすることを目的としている。マスク付きオートエンコーダ(MAE)に触発された新しい双方向トークンマスキングオートエンコーダ(BTMAE)を提案する。 BTMAEは、画像と言語の両方に欠けている機能をトークンレベルで再構築することで、画像から言語、言語へのイメージのコンテキストを学習する。
論文参考訳（メタデータ） (2023-11-29T07:33:38Z)
ViewCo: Discovering Text-Supervised Segmentation Masks via Multi-View Semantic Consistency [126.88107868670767]
テキスト教師付きセマンティックセグメンテーションのためのマルチテキストbfView textbfConsistent Learning (ViewCo)を提案する。まず,同じ入力画像の複数ビューに対する対応性を学習するためのテキスト・ツー・ビュー整合性モデリングを提案する。また,テキスト管理の曖昧性問題に対処するために,クロスビューセグメンテーション整合性モデリングを提案する。
論文参考訳（メタデータ） (2023-01-31T01:57:52Z)
More comprehensive facial inversion for more effective expression recognition [8.102564078640274]
IFER(Inversion FER)と呼ばれるFERタスクの画像反転機構に基づく新しい生成手法を提案する。 ASITは、分布アライメント損失に制約された、ソースと生成された画像間のセマンティック特徴のコサイン類似度を測定する画像反転判別器を備えている。 FFHQやCelebA-HQなどの顔データセット上でASITを広範囲に評価し,現状の顔インバージョン性能を実現する方法を示した。
論文参考訳（メタデータ） (2022-11-24T12:31:46Z)
CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
論文参考訳（メタデータ） (2021-11-30T07:29:08Z)
Two-stage Visual Cues Enhancement Network for Referring Image Segmentation [89.49412325699537]
Referring Image (RIS)は、ある自然言語表現によって参照される画像から対象のオブジェクトをセグメント化することを目的としている。本稿では,2段階のビジュアルキュー拡張ネットワーク(TV-Net)を考案し,この問題に対処する。この2段階の強化により,提案するTV-Netは,自然言語表現と画像間のきめ細かいマッチング動作の学習において,より優れた性能を享受できる。
論文参考訳（メタデータ） (2021-10-09T02:53:39Z)
Improving Image Captioning with Better Use of Captions [65.39641077768488]
本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
論文参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。