論文の概要: Contrastive Multi-FaceForensics: An End-to-end Bi-grained Contrastive
Learning Approach for Multi-face Forgery Detection
- arxiv url: http://arxiv.org/abs/2308.01520v1
- Date: Thu, 3 Aug 2023 03:37:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-04 15:28:53.125733
- Title: Contrastive Multi-FaceForensics: An End-to-end Bi-grained Contrastive
Learning Approach for Multi-face Forgery Detection
- Title(参考訳): Contrastive Multi-Face Forensics: Multi-face Forgery 検出のためのエンドツーエンドのコントラスト学習アプローチ
- Authors: Cong Zhang, Honggang Qi, Yuezun Li, Siwei Lyu
- Abstract要約: Contrastive Multi-Face Forensics (COMICS)について述べる。
提案するフレームワークは、粗い面と細かな面の両方で効果的な顔偽造跡を探索する、新しい2次元のコントラスト学習手法である。
提案手法は,他の手法よりも大きなマージン(18.5%)を達成し,各種アーキテクチャへの統合の可能性を示している。
- 参考スコア(独自算出の注目度): 43.7421126999155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: DeepFakes have raised serious societal concerns, leading to a great surge in
detection-based forensics methods in recent years. Face forgery recognition is
the conventional detection method that usually follows a two-phase pipeline: it
extracts the face first and then determines its authenticity by classification.
Since DeepFakes in the wild usually contain multiple faces, using face forgery
detection methods is merely practical as they have to process faces in a
sequel, i.e., only one face is processed at the same time. One straightforward
way to address this issue is to integrate face extraction and forgery detection
in an end-to-end fashion by adapting advanced object detection architectures.
However, as these object detection architectures are designed to capture the
semantic information of different object categories rather than the subtle
forgery traces among the faces, the direct adaptation is far from optimal. In
this paper, we describe a new end-to-end framework, Contrastive
Multi-FaceForensics (COMICS), to enhance multi-face forgery detection. The core
of the proposed framework is a novel bi-grained contrastive learning approach
that explores effective face forgery traces at both the coarse- and
fine-grained levels. Specifically, the coarse-grained level contrastive
learning captures the discriminative features among positive and negative
proposal pairs in multiple scales with the instruction of the proposal
generator, and the fine-grained level contrastive learning captures the
pixel-wise discrepancy between the forged and original areas of the same face
and the pixel-wise content inconsistency between different faces. Extensive
experiments on the OpenForensics dataset demonstrate our method outperforms
other counterparts by a large margin (~18.5%) and shows great potential for
integration into various architectures.
- Abstract(参考訳): 近年、DeepFakesは深刻な社会的懸念を生じさせており、検出に基づく法医学手法の急増につながっている。
顔偽造認識は、通常二相パイプラインに従う従来の検出手法であり、まず顔を抽出し、次に分類によって真正性を決定する。
野生のディープフェイクは、通常複数の顔を含むため、顔偽造検出法は、後続の顔を処理する必要があるため、一つの顔のみを同時に処理するだけである。
この問題に対処する簡単な方法の1つは、高度なオブジェクト検出アーキテクチャを適応させることで、エンドツーエンドで顔抽出と偽造検出を統合することである。
しかしながら、これらのオブジェクト検出アーキテクチャは顔間の微妙な偽の痕跡ではなく、異なるオブジェクトカテゴリのセマンティック情報をキャプチャするために設計されているため、直接適応は最適には程遠い。
本稿では,新たなエンドツーエンドフレームワークであるCOMICS(Contrastive Multi-Face Forensics)について述べる。
提案フレームワークのコアは,粗粒度と細粒度の両方で効果的な顔偽造跡を探索する,新しい2粒度コントラスト学習手法である。
具体的には、粗粒度コントラスト学習は、提案生成装置の指示により複数スケールで正と負のプロポーザルペア間の識別特徴を捕捉し、細粒度コントラスト学習は、同一面の偽領域と原領域と、異なる面間の画素ワイドコンテンツ不整合をキャプチャする。
OpenForensicsデータセットの大規模な実験は、我々の手法が他の手法よりも大きく(約18.5%)、様々なアーキテクチャとの統合の可能性を示している。
関連論文リスト
- Learning Expressive And Generalizable Motion Features For Face Forgery
Detection [52.54404879581527]
本稿では,既存のビデオ分類手法に基づく,シーケンスに基づく効果的な偽造検出フレームワークを提案する。
動作特徴をより表現しやすくするために,別の動作整合ブロックを提案する。
一般的なビデオ分類ネットワークを3つの顔偽造データに対して有望な結果を達成する。
論文 参考訳(メタデータ) (2024-03-08T09:25:48Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-07T07:19:45Z) - Exploiting Facial Relationships and Feature Aggregation for Multi-Face
Forgery Detection [21.976412231332798]
既存の方法は、主に単面操作検出に集中しており、より複雑で現実的な多面フォージェリーの領域は、比較的探索されていないままである。
本稿では,多面フォージェリ検出に適した新しいフレームワークを提案し,現状の研究において重要なギャップを埋めている。
提案手法が多面フォージェリ検出シナリオにおける最先端性能を実現することを示すために,2つの公開多面フォージェリデータセットを用いた実験結果を得た。
論文 参考訳(メタデータ) (2023-10-07T15:09:18Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - Building an Invisible Shield for Your Portrait against Deepfakes [34.65356811439098]
本稿では,画像のプロアクティブな保護を目的とした新しいフレームワーク,Integity Encryptorを提案する。
提案手法では,重要な顔属性と密接な関係を持つメッセージを,秘密に符号化する。
修正された顔属性は、デコードされたメッセージの比較を通じて、操作された画像を検出する手段として機能する。
論文 参考訳(メタデータ) (2023-05-22T10:01:28Z) - An Efficient Method for Face Quality Assessment on the Edge [1.7188280334580197]
エッジデバイスに対する実践的なアプローチは、認識への適合性に応じて、これらのアイデンティティの検出を優先すべきである。
顔のランドマーク検出ネットワークに1つの層を付加するだけで、顔の品質スコアの回帰が提案される。
追加のコストがほとんどないため、顔の品質スコアは、この単一の層をトレーニングすることで得られる。
論文 参考訳(メタデータ) (2022-07-19T18:29:43Z) - Dual Contrastive Learning for General Face Forgery Detection [64.41970626226221]
本稿では,正と負のペアデータを構成するDCL (Dual Contrastive Learning) という新しい顔偽造検出フレームワークを提案する。
本研究は, 事例内コントラスト学習(Intra-ICL)において, 偽造顔における局所的内容の不整合に焦点をあてる。
論文 参考訳(メタデータ) (2021-12-27T05:44:40Z) - Robust Face-Swap Detection Based on 3D Facial Shape Information [59.32489266682952]
顔のスワップ画像やビデオは、悪意ある攻撃者を惹きつけ、重要な人物の信用を損ねている。
以前のピクセルレベルのアーティファクトに基づく検出技術は、常に不明瞭なパターンにフォーカスするが、利用可能なセマンティックなヒントは無視する。
キーフィギュアの顔・スワップ検出のための外観・形状特徴をフル活用するための生体情報に基づく手法を提案する。
論文 参考訳(メタデータ) (2021-04-28T09:35:48Z) - Deep Face Forgery Detection [6.230751621285322]
本稿では,様々なタンパシナリオに対するアプローチについて述べる。
本稿では,顔認識タスクからの伝達学習を用いて触覚検出を改善することを提案する。
パブリックなFaceForensicsベンチマークで両方のアプローチを評価し,その精度を向上した。
論文 参考訳(メタデータ) (2020-04-06T11:13:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。