論文の概要: Flexible-Modal Face Anti-Spoofing: A Benchmark
- arxiv url: http://arxiv.org/abs/2202.08192v1
- Date: Wed, 16 Feb 2022 16:55:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-17 15:14:20.607841
- Title: Flexible-Modal Face Anti-Spoofing: A Benchmark
- Title(参考訳): flex-modal face anti-spoofing:ベンチマーク
- Authors: Zitong Yu, Chenxu Zhao, Kevin H. M. Cheng, Xu Cheng, Guoying Zhao
- Abstract要約: フェース・アンチ・スプーフィング(FAS)は、プレゼンテーション攻撃から顔認識システムを保護する上で重要な役割を担っている。
第一のフレキシブル・モーダルなFASベンチマークを原則として確立しました。
また、フレキシブルモーダルFASのための一般的な深層モデルと特徴融合戦略についても検討する。
- 参考スコア(独自算出の注目度): 66.18359076810549
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face anti-spoofing (FAS) plays a vital role in securing face recognition
systems from presentation attacks. Benefitted from the maturing camera sensors,
single-modal (RGB) and multi-modal (e.g., RGB+Depth) FAS has been applied in
various scenarios with different configurations of sensors/modalities. Existing
single- and multi-modal FAS methods usually separately train and deploy models
for each possible modality scenario, which might be redundant and inefficient.
Can we train a unified model, and flexibly deploy it under various modality
scenarios? In this paper, we establish the first flexible-modal FAS benchmark
with the principle `train one for all'. To be specific, with trained
multi-modal (RGB+Depth+IR) FAS models, both intra- and cross-dataset testings
are conducted on four flexible-modal sub-protocols (RGB, RGB+Depth, RGB+IR, and
RGB+Depth+IR). We also investigate prevalent deep models and feature fusion
strategies for flexible-modal FAS. We hope this new benchmark will facilitate
the future research of the multi-modal FAS. The protocols and codes are
available at https://github.com/ZitongYu/Flex-Modal-FAS.
- Abstract(参考訳): 対面防止(FAS)は、提示攻撃から顔認識システムを保護する上で重要な役割を果たす。
成熟したカメラセンサー、シングルモーダル(RGB)、マルチモーダル(例えばRGB+Depth)のFASは、センサー/モダリティの異なる様々なシナリオに適用されている。
既存の単一およびマルチモーダルのFASメソッドは通常、冗長で非効率な各可能なモダリティシナリオのモデルを別々に訓練し、デプロイする。
統一モデルをトレーニングし、様々なモダリティシナリオで柔軟にデプロイできますか?
本稿では,'train one for all'という原理を用いて,最初のフレキシブルモーダルfasベンチマークを確立する。
具体的には、訓練されたマルチモーダル(RGB+Depth+IR)FASモデルを用いて、4つのフレキシブル・モーダル・サブプロトコール(RGB、RGB+Depth、RGB+IR、RGB+Depth+IR)上で、イントラおよびクロスデータセットの試験を行う。
また,フレキシブルモーダルfasにおける一般的な深層モデルと機能融合戦略についても検討した。
この新しいベンチマークが、マルチモーダルfasの将来的な研究を促進することを願っている。
プロトコルとコードはhttps://github.com/ZitongYu/Flex-Modal-FASで公開されている。
関連論文リスト
- Multimodality Helps Few-Shot 3D Point Cloud Semantic Segmentation [61.91492500828508]
FS-PCS (Few-shot 3D point cloud segmentation) は、最小のサポートサンプルで新しいカテゴリを分割するモデルを一般化することを目的としている。
本稿では,テキストラベルと潜在的に利用可能な2次元画像モダリティを利用して,コストフリーのマルチモーダルFS-PCSセットアップを提案する。
トレーニングバイアスを軽減するため,テスト時間適応型クロスモーダルセグ(TACC)技術を提案する。
論文 参考訳(メタデータ) (2024-10-29T19:28:41Z) - Part-Whole Relational Fusion Towards Multi-Modal Scene Understanding [51.96911650437978]
マルチモーダル融合はマルチモーダルシーン理解において重要な役割を担っている。
既存のほとんどの手法は、2つのモダリティを含むクロスモーダル融合に焦点を当てており、しばしばより複雑なマルチモーダル融合を見落としている。
マルチモーダルシーン理解のためのPWRF(Relational Part-Whole Fusion)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-19T02:27:30Z) - Centering the Value of Every Modality: Towards Efficient and Resilient Modality-agnostic Semantic Segmentation [7.797154022794006]
最近の試みでは、RGBのモダリティを中心とみなし、その他を補助的とみなし、2つの枝を持つ非対称なアーキテクチャを生み出している。
本稿では,コンパクトモデルから高性能モデルまで,様々なバックボーンと柔軟にペアリングできるMAGICという新しい手法を提案する。
提案手法は, モデルパラメータを60%削減しつつ, 最先端性能を実現する。
論文 参考訳(メタデータ) (2024-07-16T03:19:59Z) - All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム
AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。
クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
論文 参考訳(メタデータ) (2024-05-08T01:04:36Z) - Visual Prompt Flexible-Modal Face Anti-Spoofing [23.58674017653937]
実世界から収集されたマルチモーダル顔データは 様々な画像センサーの モダリティが欠如しているため しばしば不完全です
本稿では, 凍結前基礎モデルを下流のフレキシブル・モダルFASタスクに適応させるために, モーダル関連プロンプトを学習するフレキシブル・モダルFASを提案する。
2つのマルチモーダルFASベンチマークデータセットで実施された実験は、我々のVP-FASフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-07-26T05:06:41Z) - FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing [88.6654909354382]
本稿では,顔のアンチ・スプーフィングのためのフレキシブル・モーダル・ビジョン・トランス (FM-ViT) と呼ばれる,純粋なトランスフォーマーベースのフレームワークを提案する。
FM-ViTは、利用可能なマルチモーダルデータの助けを借りて、任意の単一モーダル(すなわちRGB)攻撃シナリオを柔軟にターゲットすることができる。
実験により、FM-ViTに基づいてトレーニングされた単一モデルは、異なるモーダルサンプルを柔軟に評価できるだけでなく、既存のシングルモーダルフレームワークよりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2023-05-05T04:28:48Z) - MA-ViT: Modality-Agnostic Vision Transformers for Face Anti-Spoofing [3.3031006227198003]
マルチモーダルデータの助けを借りて任意のモーダルアタックの性能を向上させることを目的としたモダリティ非依存型視覚変換器(MA-ViT)を提案する。
具体的には、MA-ViTは早期融合を採用し、利用可能なすべてのトレーニングモダリティデータを集約し、任意のモダリティサンプルの柔軟なテストを可能にする。
実験により、MA-ViTでトレーニングされた単一モデルは、異なるモーダルサンプルを柔軟に評価できるだけでなく、既存のシングルモーダルフレームワークよりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2023-04-15T13:03:44Z) - Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face
Anti-Spoofing [19.142582966452935]
RGB、赤外線(IR)、深度によるマルチモーダルFASのためのViTにおける3つの重要な要素(入力、事前学習、微調整)について検討した。
マルチモーダルFAS自己教師型事前学習のためのモダリティ非対称マスク付きオートエンコーダ (M$2$A$2$E) を提案する。
論文 参考訳(メタデータ) (2023-02-11T17:02:34Z) - Multi-Modal Face Anti-Spoofing Based on Central Difference Networks [93.6690714235887]
フェース・アンチ・スプーフィング(FAS)は、プレゼンテーション攻撃から顔認識システムを保護する上で重要な役割を担っている。
既存のマルチモーダルFAS法は、積み重ねバニラ畳み込みに依存している。
中心差分畳み込みネットワーク(CDCN)をマルチモーダルバージョンに拡張し,本質的なスプーフィングパターンを捉える。
論文 参考訳(メタデータ) (2020-04-17T11:42:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。