論文の概要: Contrastive Multi-FaceForensics: An End-to-end Bi-grained Contrastive Learning Approach for Multi-face Forgery Detection

• arxiv url: http://arxiv.org/abs/2308.01520v1
• Date: Thu, 3 Aug 2023 03:37:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 15:28:53.125733
• Title: Contrastive Multi-FaceForensics: An End-to-end Bi-grained Contrastive Learning Approach for Multi-face Forgery Detection
• Title（参考訳）: Contrastive Multi-Face Forensics: Multi-face Forgery 検出のためのエンドツーエンドのコントラスト学習アプローチ
• Authors: Cong Zhang, Honggang Qi, Yuezun Li, Siwei Lyu
• Abstract要約: Contrastive Multi-Face Forensics (COMICS)について述べる。 提案するフレームワークは、粗い面と細かな面の両方で効果的な顔偽造跡を探索する、新しい2次元のコントラスト学習手法である。 提案手法は,他の手法よりも大きなマージン(18.5%)を達成し,各種アーキテクチャへの統合の可能性を示している。
• 参考スコア（独自算出の注目度）: 43.7421126999155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: DeepFakes have raised serious societal concerns, leading to a great surge in detection-based forensics methods in recent years. Face forgery recognition is the conventional detection method that usually follows a two-phase pipeline: it extracts the face first and then determines its authenticity by classification. Since DeepFakes in the wild usually contain multiple faces, using face forgery detection methods is merely practical as they have to process faces in a sequel, i.e., only one face is processed at the same time. One straightforward way to address this issue is to integrate face extraction and forgery detection in an end-to-end fashion by adapting advanced object detection architectures. However, as these object detection architectures are designed to capture the semantic information of different object categories rather than the subtle forgery traces among the faces, the direct adaptation is far from optimal. In this paper, we describe a new end-to-end framework, Contrastive Multi-FaceForensics (COMICS), to enhance multi-face forgery detection. The core of the proposed framework is a novel bi-grained contrastive learning approach that explores effective face forgery traces at both the coarse- and fine-grained levels. Specifically, the coarse-grained level contrastive learning captures the discriminative features among positive and negative proposal pairs in multiple scales with the instruction of the proposal generator, and the fine-grained level contrastive learning captures the pixel-wise discrepancy between the forged and original areas of the same face and the pixel-wise content inconsistency between different faces. Extensive experiments on the OpenForensics dataset demonstrate our method outperforms other counterparts by a large margin (~18.5%) and shows great potential for integration into various architectures.
• Abstract（参考訳）: 近年、DeepFakesは深刻な社会的懸念を生じさせており、検出に基づく法医学手法の急増につながっている。 顔偽造認識は、通常二相パイプラインに従う従来の検出手法であり、まず顔を抽出し、次に分類によって真正性を決定する。 野生のディープフェイクは、通常複数の顔を含むため、顔偽造検出法は、後続の顔を処理する必要があるため、一つの顔のみを同時に処理するだけである。 この問題に対処する簡単な方法の1つは、高度なオブジェクト検出アーキテクチャを適応させることで、エンドツーエンドで顔抽出と偽造検出を統合することである。 しかしながら、これらのオブジェクト検出アーキテクチャは顔間の微妙な偽の痕跡ではなく、異なるオブジェクトカテゴリのセマンティック情報をキャプチャするために設計されているため、直接適応は最適には程遠い。 本稿では,新たなエンドツーエンドフレームワークであるCOMICS(Contrastive Multi-Face Forensics)について述べる。 提案フレームワークのコアは,粗粒度と細粒度の両方で効果的な顔偽造跡を探索する,新しい2粒度コントラスト学習手法である。 具体的には、粗粒度コントラスト学習は、提案生成装置の指示により複数スケールで正と負のプロポーザルペア間の識別特徴を捕捉し、細粒度コントラスト学習は、同一面の偽領域と原領域と、異なる面間の画素ワイドコンテンツ不整合をキャプチャする。 OpenForensicsデータセットの大規模な実験は、我々の手法が他の手法よりも大きく(約18.5%)、様々なアーキテクチャとの統合の可能性を示している。

関連論文リスト

• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
  フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。 公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。 我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
  論文  参考訳（メタデータ） (2024-02-03T03:13:50Z)
• DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake Detection [67.3143177137102]
  ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。 本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:19:45Z)
• Exploiting Facial Relationships and Feature Aggregation for Multi-Face Forgery Detection [21.976412231332798]
  既存の方法は、主に単面操作検出に集中しており、より複雑で現実的な多面フォージェリーの領域は、比較的探索されていないままである。 本稿では,多面フォージェリ検出に適した新しいフレームワークを提案し,現状の研究において重要なギャップを埋めている。 提案手法が多面フォージェリ検出シナリオにおける最先端性能を実現することを示すために,2つの公開多面フォージェリデータセットを用いた実験結果を得た。
  論文  参考訳（メタデータ） (2023-10-07T15:09:18Z)
• Hierarchical Forgery Classifier On Multi-modality Face Forgery Clues [61.37306431455152]
  我々は,HFC-MFFD (hierarchical Forgery for Multi-modality Face Forgery Detection) を提案する。 HFC-MFFDは、マルチモーダルシナリオにおけるフォージェリー認証を強化するために、堅牢なパッチベースのハイブリッド表現を学習する。 クラス不均衡問題を緩和し、さらに検出性能を高めるために、特定の階層的な顔偽造を提案する。
  論文  参考訳（メタデータ） (2022-12-30T10:54:29Z)
• An Efficient Method for Face Quality Assessment on the Edge [1.7188280334580197]
  エッジデバイスに対する実践的なアプローチは、認識への適合性に応じて、これらのアイデンティティの検出を優先すべきである。 顔のランドマーク検出ネットワークに1つの層を付加するだけで、顔の品質スコアの回帰が提案される。 追加のコストがほとんどないため、顔の品質スコアは、この単一の層をトレーニングすることで得られる。
  論文  参考訳（メタデータ） (2022-07-19T18:29:43Z)
• Dual Contrastive Learning for General Face Forgery Detection [64.41970626226221]
  本稿では,正と負のペアデータを構成するDCL (Dual Contrastive Learning) という新しい顔偽造検出フレームワークを提案する。 本研究は, 事例内コントラスト学習(Intra-ICL)において, 偽造顔における局所的内容の不整合に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-27T05:44:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。