論文の概要: UniForensics: Face Forgery Detection via General Facial Representation

• arxiv url: http://arxiv.org/abs/2407.19079v1
• Date: Fri, 26 Jul 2024 20:51:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 19:52:45.075347
• Title: UniForensics: Face Forgery Detection via General Facial Representation
• Title（参考訳）: UniForensics:一般顔表現による顔偽造検出
• Authors: Ziyuan Fang, Hanqing Zhao, Tianyi Wei, Wenbo Zhou, Ming Wan, Zhanyi Wang, Weiming Zhang, Nenghai Yu,
• Abstract要約: 高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
• 参考スコア（独自算出の注目度）: 60.5421627990707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous deepfake detection methods mostly depend on low-level textural features vulnerable to perturbations and fall short of detecting unseen forgery methods. In contrast, high-level semantic features are less susceptible to perturbations and not limited to forgery-specific artifacts, thus having stronger generalization. Motivated by this, we propose a detection method that utilizes high-level semantic features of faces to identify inconsistencies in temporal domain. We introduce UniForensics, a novel deepfake detection framework that leverages a transformer-based video classification network, initialized with a meta-functional face encoder for enriched facial representation. In this way, we can take advantage of both the powerful spatio-temporal model and the high-level semantic information of faces. Furthermore, to leverage easily accessible real face data and guide the model in focusing on spatio-temporal features, we design a Dynamic Video Self-Blending (DVSB) method to efficiently generate training samples with diverse spatio-temporal forgery traces using real facial videos. Based on this, we advance our framework with a two-stage training approach: The first stage employs a novel self-supervised contrastive learning, where we encourage the network to focus on forgery traces by impelling videos generated by the same forgery process to have similar representations. On the basis of the representation learned in the first stage, the second stage involves fine-tuning on face forgery detection dataset to build a deepfake detector. Extensive experiments validates that UniForensics outperforms existing face forgery methods in generalization ability and robustness. In particular, our method achieves 95.3\% and 77.2\% cross dataset AUC on the challenging Celeb-DFv2 and DFDC respectively.
• Abstract（参考訳）: 従来のディープフェイク検出法は、主に摂動に弱い低レベルのテクスチャ特徴と、目に見えない偽造検出方法の欠如に依存していた。 対照的に、高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 そこで本稿では,顔の高レベルな意味的特徴を利用して時間領域の不整合を識別する検出手法を提案する。 我々は,変圧器を用いた映像分類ネットワークを利用した新しいディープフェイク検出フレームワークUniForensicsを紹介した。 このようにして、強力な時空間モデルと顔の高レベルの意味情報の両方を活用できる。 さらに、容易にアクセス可能な実顔データを活用し、時空間特徴に着目してモデルを導出するために、実顔映像を用いて時空間の多様なフォージェリートレースを用いたトレーニングサンプルを効率よく生成する動的ビデオセルフブレンディング(DVSB)法を設計する。 第1段階では、ネットワークが、同じ偽造プロセスによって生成されたビデオに同様の表現を持つように促すことで、偽造トレースに焦点を合わせることを奨励する、新しい自己監督型コントラスト学習を採用しています。 第1段で学習した表現に基づいて、第2段は、ディープフェイク検出器を構築するために顔偽造検出データセットを微調整する。 広汎な実験により、UniForensicsは、一般化能力と堅牢性において、既存の顔偽造法より優れていることが検証された。 特に,本手法は,Celeb-DFv2 と DFDC でそれぞれ 95.3\% と 77.2\% のクロスデータセット AUC を実現する。

関連論文リスト

• Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach [77.65459419417533]
  本稿ではセマンティクス指向のDeepFake検出タスクをサポートするための自動データセット拡張手法を提案する。 また,顔画像とそれに対応するラベルを併用して予測を行う。 提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
  論文  参考訳（メタデータ） (2024-08-29T07:11:50Z)
• Towards More General Video-based Deepfake Detection through Facial Feature Guided Adaptation for Foundation Model [15.61920157541529]
  内部にリッチな情報をエンコードしたファンデーションモデルを適用することにより,新しいディープフェイク検出手法を提案する。 近年のパラメータ効率の良い微調整技術に触発されて,新しいサイドネットワーク型デコーダを提案する。 提案手法は,見知らぬディープフェイクサンプルの同定に優れた有効性を示し,顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-04-08T14:58:52Z)
• CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
  クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。 既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。 顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
  論文  参考訳（メタデータ） (2023-09-30T12:30:25Z)
• COMICS: End-to-end Bi-grained Contrastive Learning for Multi-face Forgery Detection [56.7599217711363]
  顔偽造認識法は一度に1つの顔しか処理できない。 ほとんどの顔偽造認識法は一度に1つの顔しか処理できない。 マルチフェイスフォージェリ検出のためのエンドツーエンドフレームワークであるCOMICSを提案する。
  論文  参考訳（メタデータ） (2023-08-03T03:37:13Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for Exposing Deepfakes [7.553507857251396]
  本研究では,検出問題を(一級)アウト・オブ・ディストリビューション検出タスクとして形式化する,SeeABLEと呼ばれる新しいディープフェイク検出器を提案する。 SeeABLEは、新しい回帰ベースの有界コントラスト損失を使用して、乱れた顔を事前定義されたプロトタイプにプッシュする。 我々のモデルは競合する最先端の検出器よりも高い性能を示しながら、高度に一般化能力を示す。
  論文  参考訳（メタデータ） (2022-11-21T09:38:30Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• DeepFake Detection by Analyzing Convolutional Traces [0.0]
  我々は,人間の顔のディープフェイクの分析に着目し,新しい検出方法を提案する。 提案手法は, 予測最大化(EM)アルゴリズムを用いて, 基礎となる畳み込み生成過程をモデル化するための局所的特徴の集合を抽出する。 その結果、異なるアーキテクチャと対応する生成過程を区別する手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-22T09:02:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。