論文の概要: Forgery-aware Adaptive Vision Transformer for Face Forgery Detection

• arxiv url: http://arxiv.org/abs/2309.11092v1
• Date: Wed, 20 Sep 2023 06:51:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 17:01:37.316280
• Title: Forgery-aware Adaptive Vision Transformer for Face Forgery Detection
• Title（参考訳）: 顔偽造検出のための偽造認識適応視覚トランス
• Authors: Anwei Luo, Rizhao Cai, Chenqi Kong, Xiangui Kang, Jiwu Huang and Alex C. Kot
• Abstract要約: FA-ViT(Forgery-aware Adaptive Vision Transformer)を提案する。 FA-ViTでは、バニラViTのパラメータは、事前訓練された知識を保持するために凍結される。 特殊設計された2つのコンポーネント、LFI(Local-Aware Forgery)とGFA(Global-Aware Forgery Adaptor)は、フォージェリー関連の知識に適応するために使用される。
• 参考スコア（独自算出の注目度）: 57.56537940216884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement in face manipulation technologies, the importance of face forgery detection in protecting authentication integrity becomes increasingly evident. Previous Vision Transformer (ViT)-based detectors have demonstrated subpar performance in cross-database evaluations, primarily because fully fine-tuning with limited Deepfake data often leads to forgetting pre-trained knowledge and over-fitting to data-specific ones. To circumvent these issues, we propose a novel Forgery-aware Adaptive Vision Transformer (FA-ViT). In FA-ViT, the vanilla ViT's parameters are frozen to preserve its pre-trained knowledge, while two specially designed components, the Local-aware Forgery Injector (LFI) and the Global-aware Forgery Adaptor (GFA), are employed to adapt forgery-related knowledge. our proposed FA-ViT effectively combines these two different types of knowledge to form the general forgery features for detecting Deepfakes. Specifically, LFI captures local discriminative information and incorporates these information into ViT via Neighborhood-Preserving Cross Attention (NPCA). Simultaneously, GFA learns adaptive knowledge in the self-attention layer, bridging the gap between the two different domain. Furthermore, we design a novel Single Domain Pairwise Learning (SDPL) to facilitate fine-grained information learning in FA-ViT. The extensive experiments demonstrate that our FA-ViT achieves state-of-the-art performance in cross-dataset evaluation and cross-manipulation scenarios, and improves the robustness against unseen perturbations.
• Abstract（参考訳）: 顔操作技術の進歩に伴い、認証の完全性を保護するための顔偽造検出の重要性が増している。 先進的なビジョントランスフォーマー(ViT)ベースの検出器は、主にDeepfakeデータに制限された完全な微調整が、事前訓練された知識を忘れ、データ固有のデータに過度に適合することにつながるため、クロスデータベース評価においてサブパー性能を示している。 これらの問題を回避すべく,新規なforgery-aware adaptive vision transformer (fa-vit)を提案する。 fa-vitでは、バニラvitのパラメータは予め訓練された知識を保存するために凍結され、特別に設計された2つのコンポーネント、ローカルアウェアフォージェリーインジェクタ(lfi)とグローバルアウェアフォージェリーインジェクタ(gfa)がフォージェリー関連の知識に適応するために使用される。 提案するFA-ViTは,これらの2種類の知識を効果的に組み合わせて,Deepfakesを検出する一般的な偽造特徴を形成する。 具体的には、LFIは局所的な識別情報をキャプチャし、これらの情報をNorborhood-Preserving Cross Attention (NPCA)を介してViTに組み込む。 同時に、GFAは自己認識層において適応的な知識を学び、2つの異なるドメイン間のギャップを埋める。 さらに,FA-ViTにおける詳細な情報学習を容易にするために,SDPL(Single Domain Pairwise Learning)を設計する。 大規模な実験により,我々のFA-ViTは,クロスデータセット評価およびクロス操作シナリオにおける最先端性能を達成し,目に見えない摂動に対する堅牢性を向上させることが示された。

関連論文リスト

• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
  ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。 ViT法はトランスの表現性を生かし,優れた検出性能を実現する。 この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
  論文  参考訳（メタデータ） (2024-04-12T13:02:08Z)
• S-Adapter: Generalizing Vision Transformer for Face Anti-Spoofing with Statistical Tokens [45.06704981913823]
  Face Anti-Spoofing (FAS) は、スプーフされた顔を表示することによって、顔認識システムに侵入しようとする悪意のある試みを検出することを目的としている。 本稿では,局所的なトークンヒストグラムから局所的な識別や統計情報を収集する新しい統計適応器(S-Adapter)を提案する。 統計的トークンの一般化をさらに改善するために,新しいトークンスタイル正規化(TSR)を提案する。 提案したS-AdapterとTSRは、ゼロショットと少数ショットのクロスドメインテストの両方において、いくつかのベンチマークテストにおいて、最先端の手法よりも優れた、大きなメリットをもたらすことを示した。
  論文  参考訳（メタデータ） (2023-09-07T22:36:22Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Fourier Test-time Adaptation with Multi-level Consistency for Robust Classification [10.291631977766672]
  本稿では,Fourier Test-Time Adaptation (FTTA) と呼ばれる新しい手法を提案する。 FTTAは、予測の自己監督を行うために、ペア入力の信頼性の高い多レベル整合性測定を構築する。 異なる形態と器官を持つ3つの大きな分類データセットで広範囲に検証された。
  論文  参考訳（メタデータ） (2023-06-05T02:29:38Z)
• Adaptive Memory Networks with Self-supervised Learning for Unsupervised Anomaly Detection [54.76993389109327]
  教師なし異常検出は、通常のデータのみをトレーニングすることで、目に見えない異常を検出するモデルを構築することを目的としている。 本稿では,これらの課題に対処するために,自己教師付き学習(AMSL)を用いた適応記憶ネットワーク(Adaptive Memory Network)を提案する。 AMSLには、一般的な正規パターンを学ぶための自己教師付き学習モジュールと、リッチな特徴表現を学ぶための適応型メモリ融合モジュールが組み込まれている。
  論文  参考訳（メタデータ） (2022-01-03T03:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。