論文の概要: Benchmarking Joint Face Spoofing and Forgery Detection with Visual and Physiological Cues

• arxiv url: http://arxiv.org/abs/2208.05401v1
• Date: Wed, 10 Aug 2022 15:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-11 13:00:42.175020
• Title: Benchmarking Joint Face Spoofing and Forgery Detection with Visual and Physiological Cues
• Title（参考訳）: 視覚・生理的手がかりを用いた顎関節のスプーフィングと偽造検出
• Authors: Zitong Yu, Rizhao Cai, Zhi Li, Wenhan Yang, Jingang Shi, Alex C. Kot
• Abstract要約: 視覚的外観と生理的rcuesを用いた第1回関節スプーフィングおよび検出ベンチマークを作成した。 r周期性判別を強化するために,顔の強信号マップと連続ウェーブレットを入力として変換した2分岐生理ネットワークを設計した。
• 参考スコア（独自算出の注目度）: 82.84249509112173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face anti-spoofing (FAS) and face forgery detection play vital roles in securing face biometric systems from presentation attacks (PAs) and vicious digital manipulation (e.g., deepfakes). Despite promising performance upon large-scale data and powerful deep models, the generalization problem of existing approaches is still an open issue. Most of recent approaches focus on 1) unimodal visual appearance or physiological (i.e., remote photoplethysmography (rPPG)) cues; and 2) separated feature representation for FAS or face forgery detection. On one side, unimodal appearance and rPPG features are respectively vulnerable to high-fidelity face 3D mask and video replay attacks, inspiring us to design reliable multi-modal fusion mechanisms for generalized face attack detection. On the other side, there are rich common features across FAS and face forgery detection tasks (e.g., periodic rPPG rhythms and vanilla appearance for bonafides), providing solid evidence to design a joint FAS and face forgery detection system in a multi-task learning fashion. In this paper, we establish the first joint face spoofing and forgery detection benchmark using both visual appearance and physiological rPPG cues. To enhance the rPPG periodicity discrimination, we design a two-branch physiological network using both facial spatio-temporal rPPG signal map and its continuous wavelet transformed counterpart as inputs. To mitigate the modality bias and improve the fusion efficacy, we conduct a weighted batch and layer normalization for both appearance and rPPG features before multi-modal fusion. We find that the generalization capacities of both unimodal (appearance or rPPG) and multi-modal (appearance+rPPG) models can be obviously improved via joint training on these two tasks. We hope this new benchmark will facilitate the future research of both FAS and deepfake detection communities.
• Abstract（参考訳）: face anti-spoofing (fas) と face forgery detection (face forgery detection) は、プレゼンテーションアタック (pas) や悪質なデジタル操作 (例えばディープフェイク) から顔の生体認証システムを確保する上で重要な役割を果たす。 大規模データと強力な深層モデルの性能は高いが、既存のアプローチの一般化問題は依然として未解決の問題である。 最近のアプローチのほとんどは 1)単調な視覚的外観または生理学的(すなわち、遠隔フォトプレチモグラフィ(rppg))の手がかり 2)fasまたは顔偽造検出のための分離特徴表現。 片面では,高忠実な顔3Dマスクとビデオ再生攻撃に対して,一方向の外観とrPPGの特徴がそれぞれ脆弱であり,汎用的な顔攻撃検出のための信頼性の高いマルチモーダル融合機構を設計する必要がある。 一方、FASと顔偽造検出タスク(例えば、周期的なrPPGリズムやボナファイドのバニラ外観など)に共通する特徴が豊富にあり、複数タスクの学習方法で共同FASと顔偽造検出システムを設計するための確固たる証拠を提供する。 本稿では,視覚的外見と生理的rPPGを用いた第1回顔偽造検出ベンチマークを確立する。 rppgの周期性判定を強化するために,顔面時空間rppg信号マップと連続ウェーブレット変換を入力として,二次元生理ネットワークを設計する。 モーダリティバイアスを緩和し, 核融合効率を向上させるため, マルチモーダル核融合前に, 外観およびrPPGの特徴を加重バッチおよび層正規化する。 この2つのタスクを共同でトレーニングすることで,単目的(外観またはrPPG)モデルとマルチモーダル(外観+rPPG)モデルの一般化能力が明らかに向上できることが判明した。 この新しいベンチマークは、fasとdeepfake検出コミュニティの両方の将来的な研究を促進することを願っている。

関連論文リスト

• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• Generalized Face Liveness Detection via De-spoofing Face Generator [58.7043386978171]
  以前のFace Anti-Spoofing (FAS) の作業は、目に見えない領域における一般化という課題に直面している。 De-spoofing Face Generator (DFG) によるモデル一般化を改善するために, 現実の顔を利用する Anomalous cue Guided FAS (AG-FAS) 方式を実行する。 次に,Anomalous cue Guided FAS feature extract Network (AG-Net)を提案する。
  論文  参考訳（メタデータ） (2024-01-17T06:59:32Z)
• Mask Attack Detection Using Vascular-weighted Motion-robust rPPG Signals [21.884783786547782]
  R-based face anti-spoofing method は、しばしばビデオシーケンスの不安定な顔アライメントによる性能劣化に悩まされる。 SIFTキーポイントと顔ランドマークの両方を用いて, 顔の鮮明かつ正確に画素レベルで整列するランドマークアンコール顔縫合法を提案する。 Gated Recurrent Unit (GRU) を備えた軽量なEfficientNetは、分類のための空間的特徴と時間的特徴の両方を抽出するように設計されている。
  論文  参考訳（メタデータ） (2023-05-25T11:22:17Z)
• Watch Out for the Confusing Faces: Detecting Face Swapping with the Probability Distribution of Face Identification Models [37.49012763328351]
  顔識別確率分布に基づく顔交換検出手法を提案する。 IdP_FSDは、有限集合に属するスワップされた顔を検出するために特別に設計されている。 IdP_FSDは、顔交換に関わる2つの顔の同一性は、顔交換の共通性を利用する。
  論文  参考訳（メタデータ） (2023-03-23T09:33:10Z)
• Identifying Rhythmic Patterns for Face Forgery Detection and Categorization [46.21354355137544]
  本研究では, PPG信号に対する空間時間フィルタリングネットワーク (STFNet) と, PPG信号の制約と相互作用のための空間時間インタラクションネットワーク (STINet) からなる顔偽造検出と分類のためのフレームワークを提案する。 フォージェリーメソッドの生成に関する知見を得て,フレームワークの性能を高めるために,イントラソースとイントラソースのブレンディングを提案する。
  論文  参考訳（メタデータ） (2022-07-04T04:57:06Z)
• Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning [54.15303628138665]
  フェース・アンチ・スプーフィング(FAS)は、顔認識システムが提示攻撃を防ぐ上で重要な役割を担っている。 既存のフェース・アンチ・スプーフィング・データセットは、アイデンティティと重要なばらつきが不十分なため、多様性を欠いている。 我々は「生成によるアンチ・スプーフィング」によりこの問題に対処するデュアル・スポット・ディアンタングメント・ジェネレーション・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-01T15:36:59Z)
• Heterogeneous Face Frontalization via Domain Agnostic Learning [74.86585699909459]
  本研究では, 視覚領域における正面視を, ポーズのバリエーションで合成できるドメイン非依存学習型生成逆数ネットワーク(DAL-GAN)を提案する。 DAL-GANは、補助分類器を備えたジェネレータと、より優れた合成のために局所的およびグローバルなテクスチャ識別をキャプチャする2つの識別器から構成される。
  論文  参考訳（メタデータ） (2021-07-17T20:41:41Z)
• Face Anti-Spoofing with Human Material Perception [76.4844593082362]
  フェース・アンチ・スプーフィング(FAS)は、プレゼンテーション攻撃から顔認識システムを保護する上で重要な役割を担っている。 我々は、顔の反偽造を物質認識問題として言い換え、それを古典的な人間の物質知覚と組み合わせる。 本稿では,本質的な素材に基づくパターンをキャプチャ可能なバイラテラル畳み込みネットワーク(BCN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T18:25:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。