論文の概要: Modality Agnostic Heterogeneous Face Recognition with Switch Style Modulators

• arxiv url: http://arxiv.org/abs/2407.08640v1
• Date: Thu, 11 Jul 2024 16:21:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 16:40:31.950873
• Title: Modality Agnostic Heterogeneous Face Recognition with Switch Style Modulators
• Title（参考訳）: スイッチ型変調器を用いたモード非依存不均一顔認識
• Authors: Anjith George, Sebastien Marcel,
• Abstract要約: 推論中に複数のモーダルを扱えるモーダリティ非依存HFR法を訓練するための新しいフレームワークを提案する。 Switch Style Modulation Blocks (SSMB) と呼ばれる,計算効率のよい自動ルーティング機構を実装することで実現した。 提案したSSMBは、エンドツーエンドにトレーニングでき、事前訓練された顔認識モデルにシームレスに統合され、モダリティに依存しないHFRモデルに変換される。
• 参考スコア（独自算出の注目度）: 4.910937238451485
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Heterogeneous Face Recognition (HFR) systems aim to enhance the capability of face recognition in challenging cross-modal authentication scenarios. However, the significant domain gap between the source and target modalities poses a considerable challenge for cross-domain matching. Existing literature primarily focuses on developing HFR approaches for specific pairs of face modalities, necessitating the explicit training of models for each source-target combination. In this work, we introduce a novel framework designed to train a modality-agnostic HFR method capable of handling multiple modalities during inference, all without explicit knowledge of the target modality labels. We achieve this by implementing a computationally efficient automatic routing mechanism called Switch Style Modulation Blocks (SSMB) that trains various domain expert modulators which transform the feature maps adaptively reducing the domain gap. Our proposed SSMB can be trained end-to-end and seamlessly integrated into pre-trained face recognition models, transforming them into modality-agnostic HFR models. We have performed extensive evaluations on HFR benchmark datasets to demonstrate its effectiveness. The source code and protocols will be made publicly available.
• Abstract（参考訳）: Heterogeneous Face Recognition (HFR) システムは、クロスモーダル認証に挑戦する際の顔認識能力を高めることを目的としている。 しかし、ソースとターゲットのモダリティの間の重要なドメインギャップは、クロスドメインマッチングにかなりの課題をもたらす。 既存の文献は、主に特定の顔モダリティのペアのためのHFRアプローチの開発に焦点を合わせ、各ソースとターゲットの組み合わせに対するモデルの明示的なトレーニングを必要としている。 本研究では,対象のモダリティラベルの明示的な知識を必要とせず,推論中に複数のモダリティを処理できるモダリティに依存しないHFR法を学習するための新しいフレームワークを提案する。 そこで我々は,Switch Style Modulation Blocks (SSMB) と呼ばれる計算効率の良い自動ルーティング機構を実装し,ドメインギャップを適応的に低減する特徴マップを変換する各種ドメインエキスパート変調器を訓練する。 提案したSSMBは、エンドツーエンドにトレーニングでき、事前訓練された顔認識モデルにシームレスに統合され、モダリティに依存しないHFRモデルに変換される。 提案手法の有効性を示すため,HFRベンチマークデータセットを広範囲に評価した。 ソースコードとプロトコルは公開されます。

関連論文リスト

• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Heterogeneous Face Recognition Using Domain Invariant Units [4.910937238451485]
  教師ネットワークとして事前訓練された顔認識モデルを用いてドメイン不変ネットワーク層(DIU)を学習する。 提案したDIUは、対照的な蒸留フレームワークを用いて、限られた量のペアトレーニングデータでも効果的に訓練することができる。 提案手法は、事前訓練されたモデルを強化する可能性があり、より広い範囲のデータに適応できる。
  論文  参考訳（メタデータ） (2024-04-22T16:58:37Z)
• From Modalities to Styles: Rethinking the Domain Gap in Heterogeneous Face Recognition [4.910937238451485]
  本研究では,既存の顔認識ネットワークにシームレスに適合する条件適応型インスタンス変調(CAIM)モジュールを提案する。 CAIMブロックは中間特徴写像を変調し、ソースモダリティのスタイルに効率よく適応し、ドメインギャップをブリッジする。 我々は,提案手法を様々な挑戦的HFRベンチマークで広く評価し,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-22T15:00:51Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Bridging the Gap: Heterogeneous Face Recognition with Conditional Adaptive Instance Modulation [7.665392786787577]
  本研究では,事前学習した顔認識ネットワークに統合可能な,新しい条件適応型インスタンス変調(CAIM)モジュールを提案する。 CAIMブロックは中間特徴写像を変調し、対象モダリティのスタイルに適応して領域ギャップを効果的にブリッジする。 提案手法は,最小限のペアサンプルでエンドツーエンドのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2023-07-13T19:17:04Z)
• Deep face recognition with clustering based domain adaptation [57.29464116557734]
  そこで本研究では,ターゲットドメインとソースがクラスを共有しない顔認識タスクを対象とした,クラスタリングに基づく新しいドメイン適応手法を提案する。 本手法は,特徴領域をグローバルに整列させ,その一方で,対象クラスタを局所的に識別することで,識別対象特徴を効果的に学習する。
  論文  参考訳（メタデータ） (2022-05-27T12:29:11Z)
• Domain Private and Agnostic Feature for Modality Adaptive Face Recognition [10.497190559654245]
  本稿では,不整合表現モジュール(DRM),特徴融合モジュール(FFM),計量ペナルティ学習セッションを含む特徴集約ネットワーク(FAN)を提案する。 第一に、DRMでは、ドメインに依存しないネットワークとドメインに依存しないネットワークという2つのワークは、モダリティの特徴とアイデンティティの特徴を学習するために特別に設計されている。 第2に、FFMでは、ID特徴をドメイン特徴と融合させて、双方向の双方向ID特徴変換を実現する。 第3に、容易なペアとハードペアの分布不均衡がクロスモーダルデータセットに存在することを考えると、適応性のあるID保存計量学習が可能である。
  論文  参考訳（メタデータ） (2020-08-10T00:59:42Z)
• Learning Meta Face Recognition in Unseen Domains [74.69681594452125]
  メタ顔認識(MFR)というメタラーニングを用いた新しい顔認識手法を提案する。 MFRは、メタ最適化目標を用いてソース/ターゲットドメインシフトを合成する。 一般化顔認識評価のためのベンチマークを2つ提案する。
  論文  参考訳（メタデータ） (2020-03-17T14:10:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。