論文の概要: Learning Pairwise Interaction for Generalizable DeepFake Detection
- arxiv url: http://arxiv.org/abs/2302.13288v1
- Date: Sun, 26 Feb 2023 10:39:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 17:53:28.464061
- Title: Learning Pairwise Interaction for Generalizable DeepFake Detection
- Title(参考訳): 一般化可能なディープフェイク検出のためのペアワイズインタラクションの学習
- Authors: Ying Xu, Kiran Raja, Luisa Verdoliva, Marius Pedersen
- Abstract要約: DeepFake生成技術の開発は、既知のタイプのDeepFake向けに設計された検出スキームに挑戦している。
我々は,異なる色空間表現からペアワイズ学習と補完情報を利用する,MCX-API(Multi-Channel Xception Attention Pairwise Interaction)を提案する。
実験の結果,提案手法は最先端のDeepfakes検出器よりも一般化可能であることがわかった。
- 参考スコア(独自算出の注目度): 20.723277551489186
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A fast-paced development of DeepFake generation techniques challenge the
detection schemes designed for known type DeepFakes. A reliable Deepfake
detection approach must be agnostic to generation types, which can present
diverse quality and appearance. Limited generalizability across different
generation schemes will restrict the wide-scale deployment of detectors if they
fail to handle unseen attacks in an open set scenario. We propose a new
approach, Multi-Channel Xception Attention Pairwise Interaction (MCX-API), that
exploits the power of pairwise learning and complementary information from
different color space representations in a fine-grained manner. We first
validate our idea on a publicly available dataset in a intra-class setting
(closed set) with four different Deepfake schemes. Further, we report all the
results using balanced-open-set-classification (BOSC) accuracy in an
inter-class setting (open-set) using three public datasets. Our experiments
indicate that our proposed method can generalize better than the
state-of-the-art Deepfakes detectors. We obtain 98.48% BOSC accuracy on the
FF++ dataset and 90.87% BOSC accuracy on the CelebDF dataset suggesting a
promising direction for generalization of DeepFake detection. We further
utilize t-SNE and attention maps to interpret and visualize the decision-making
process of our proposed network. https://github.com/xuyingzhongguo/MCX-API
- Abstract(参考訳): DeepFakeの生成技術は、既知のタイプのDeepFake向けに設計された検出スキームに挑戦する。
信頼性の高いDeepfake検出アプローチは、さまざまな品質と外観を示す生成タイプに依存しない必要がある。
異なる世代のスキームにまたがる限定的な一般化性は、オープンセットのシナリオで見当たらない攻撃を処理できない場合、検出器の広範囲な展開を制限する。
我々は,異なる色空間表現からのペアワイズ学習のパワーと相補的情報を利用した,MCX-API(Multi-Channel Xception Attention Pairwise Interaction)を提案する。
まず、4つの異なるディープフェイクスキームを持つクラス内設定(クローズドセット)で、公開データセットでアイデアを検証する。
さらに,3つの公開データセットを用いたクラス間設定(オープンセット)において,BOSCの精度を用いてすべての結果を報告する。
実験の結果,提案手法は最先端のDeepfakes検出器よりも一般化可能であることがわかった。
FF++データセットでは98.48%のBOSC精度,CelebDFデータセットでは90.87%のBOSC精度が得られた。
さらにt-SNEとアテンションマップを用いて,提案ネットワークの意思決定プロセスの解釈と可視化を行う。
https://github.com/xuyingzhongguo/MCX-API
関連論文リスト
- Facial Forgery-based Deepfake Detection using Fine-Grained Features [7.378937711027777]
ディープフェイクによる顔の偽造は、大きなセキュリティリスクを引き起こし、深刻な社会的懸念を引き起こしている。
我々は,詳細な分類問題としてディープフェイク検出を定式化し,それに対する新たなきめ細かな解を提案する。
本手法は, 背景雑音を効果的に抑制し, 様々なスケールの識別特徴を学習することにより, 微妙で一般化可能な特徴を学習し, 深度検出を行う。
論文 参考訳(メタデータ) (2023-10-10T21:30:05Z) - Improving Cross-dataset Deepfake Detection with Deep Information
Decomposition [57.284370468207214]
ディープフェイク技術は、セキュリティと社会的信頼に重大な脅威をもたらす。
既存の検出方法は、クロスデータセットのシナリオに直面した場合、パフォーマンスの急激な低下に悩まされる。
本稿では,深層情報分解(DID)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-30T12:30:25Z) - DFIL: Deepfake Incremental Learning by Exploiting Domain-invariant
Forgery Clues [32.045504965382015]
現在のディープフェイク検出モデルは、大規模なデータセットでトレーニングすることで、一般的に偽画像を認識することができる。
検出モデルの精度は、データ分布の違いにより、新しいディープフェイク法によって生成された画像に対して著しく低下する。
本稿では,ディープフェイク検出モデルの一般化を改善するための新たなインクリメンタルラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T07:02:26Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - Prompt-driven efficient Open-set Semi-supervised Learning [52.30303262499391]
オープンセット半教師付き学習(OSSL)は関心を集めており、未ラベルデータにのみOOD(Out-of-distribution)サンプルが組み込まれているというより実践的なシナリオを調査している。
我々はOpenPromptと呼ばれる,プロンプト駆動の効率的なOSSLフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-28T16:25:08Z) - On Improving Cross-dataset Generalization of Deepfake Detectors [1.0152838128195467]
ディープフェイクによる顔の操作は、大きなセキュリティリスクを引き起こし、深刻な社会的懸念を引き起こしている。
我々は、教師付きおよび強化学習(RL)のハイブリッド組み合わせとして深層偽検出を定式化し、そのクロスデータセット一般化性能を改善する。
提案手法は,ディープフェイク検出器のクロスデータセット一般化における既存の研究よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-04-08T20:34:53Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳(メタデータ) (2022-03-04T09:08:50Z) - MD-CSDNetwork: Multi-Domain Cross Stitched Network for Deepfake
Detection [80.83725644958633]
現在のディープフェイク生成法では、偽画像やビデオの周波数スペクトルに識別的アーティファクトが残されている。
MD-CSDNetwork(MD-CSDNetwork)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2021-09-15T14:11:53Z) - TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly
Supervised Learning [17.40885531847159]
ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。
本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。
レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
論文 参考訳(メタデータ) (2021-05-13T07:31:08Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。