論文の概要: In Anticipation of Perfect Deepfake: Identity-anchored Artifact-agnostic Detection under Rebalanced Deepfake Detection Protocol
- arxiv url: http://arxiv.org/abs/2405.00483v1
- Date: Wed, 1 May 2024 12:48:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 15:37:50.404784
- Title: In Anticipation of Perfect Deepfake: Identity-anchored Artifact-agnostic Detection under Rebalanced Deepfake Detection Protocol
- Title（参考訳）: 完全ディープフェイクの予測:再均衡ディープフェイク検出プロトコルによるアイデンティティ認識アーチファクト非依存検出
- Authors: Wei-Han Wang, Chin-Yuan Yeh, Hsi-Wen Chen, De-Nian Yang, Ming-Syan Chen,
- Abstract要約: 本研究では,バランスの取れたシナリオ下でのストレステスト検出にRDDP(Re Balanced Deepfake Detection Protocol)を導入する。
ID-Minerは,人工物や外観の動作に焦点をあてることで,変装の背後にある人形を識別する検出器である。
- 参考スコア（独自算出の注目度）: 20.667392938528987
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As deep generative models advance, we anticipate deepfakes achieving "perfection"-generating no discernible artifacts or noise. However, current deepfake detectors, intentionally or inadvertently, rely on such artifacts for detection, as they are exclusive to deepfakes and absent in genuine examples. To bridge this gap, we introduce the Rebalanced Deepfake Detection Protocol (RDDP) to stress-test detectors under balanced scenarios where genuine and forged examples bear similar artifacts. We offer two RDDP variants: RDDP-WHITEHAT uses white-hat deepfake algorithms to create 'self-deepfakes,' genuine portrait videos with the resemblance of the underlying identity, yet carry similar artifacts to deepfake videos; RDDP-SURROGATE employs surrogate functions (e.g., Gaussian noise) to process both genuine and forged examples, introducing equivalent noise, thereby sidestepping the need of deepfake algorithms. Towards detecting perfect deepfake videos that aligns with genuine ones, we present ID-Miner, a detector that identifies the puppeteer behind the disguise by focusing on motion over artifacts or appearances. As an identity-based detector, it authenticates videos by comparing them with reference footage. Equipped with the artifact-agnostic loss at frame-level and the identity-anchored loss at video-level, ID-Miner effectively singles out identity signals amidst distracting variations. Extensive experiments comparing ID-Miner with 12 baseline detectors under both conventional and RDDP evaluations with two deepfake datasets, along with additional qualitative studies, affirm the superiority of our method and the necessity for detectors designed to counter perfect deepfakes.
- Abstract（参考訳）: 深層生成モデルが進むにつれて、我々は、識別可能な人工物やノイズを発生させない「完璧」を実現するディープフェイクを期待する。
しかし、現在のディープフェイク検出器は、意図的または不注意に、これらのアーティファクトを検出に頼っている。
このギャップを埋めるために、実例と偽例が類似したアーティファクトを持つバランスの取れたシナリオ下で、ストレステスト検出にRDDP(Re Balanced Deepfake Detection Protocol)を導入する。
RDDP-WHITEHATはホワイトハットのディープフェイクアルゴリズムを用いて「自己ディープフェイク(self-deepfakes)」を制作し、基礎となるアイデンティティに類似した本物のポートレートビデオを生成するが、同様のアーティファクトをディープフェイクビデオに転送するRDDP-SURROGATEでは、サロゲート関数(例えばガウスノイズ)を使用して、等価ノイズを導入し、真偽と偽のサンプルの両方を処理する。
本物と一致した完璧なディープフェイクビデオを検出するために、私たちはID-Minerを紹介します。
識別に基づく検知器として、ビデオと基準映像を比較して認証する。
ID-Minerは、フレームレベルでのアーチファクト非依存の損失とビデオレベルでのアイデンティティ非認識の損失を伴って、気を散らす変化の中で、ID信号を効果的に選別する。
従来の2つのディープフェイクデータセットとRDDPによる12のベースライン検出器とID-Minerを比較した大規模な実験を行い、さらに質的研究を行い、本手法の優位性と、完璧なディープフェイクに対抗するために設計された検出器の必要性を確認した。
関連論文リスト
- Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。
本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。
我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
論文 参考訳（メタデータ） (2024-10-10T13:10:34Z) - CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。
既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。
顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
論文 参考訳（メタデータ） (2023-09-30T12:30:25Z) - On the Vulnerability of DeepFake Detectors to Attacks Generated by
Denoising Diffusion Models [0.5827521884806072]
我々は,最新の生成手法によって生成されたブラックボックス攻撃に対する単一イメージのディープフェイク検出器の脆弱性について検討した。
われわれの実験はFaceForensics++で行われている。
以上の結果から,ディープフェイクの再建過程において,1段階の偏微分拡散のみを用いることで,検出可能性を大幅に低下させる可能性が示唆された。
論文 参考訳（メタデータ） (2023-07-11T15:57:51Z) - Fooling State-of-the-Art Deepfake Detection with High-Quality Deepfakes [2.0883760606514934]
我々は、複数の研究データセットで証明されたディープフェイク検出器が、よく作られた偽物と現実世界のシナリオで未だに苦戦していることを示す。
我々は,90個の高品質のディープフェイクを生成するために,高度な顔ブレンディング技術とともに,顔交換のための新しいオートエンコーダを提案する。
論文 参考訳（メタデータ） (2023-05-09T09:08:49Z) - SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for
Exposing Deepfakes [7.553507857251396]
本研究では,検出問題を(一級)アウト・オブ・ディストリビューション検出タスクとして形式化する,SeeABLEと呼ばれる新しいディープフェイク検出器を提案する。
SeeABLEは、新しい回帰ベースの有界コントラスト損失を使用して、乱れた顔を事前定義されたプロトタイプにプッシュする。
我々のモデルは競合する最先端の検出器よりも高い性能を示しながら、高度に一般化能力を示す。
論文 参考訳（メタデータ） (2022-11-21T09:38:30Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳（メタデータ） (2022-03-04T09:08:50Z) - Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。
本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。
種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
論文 参考訳（メタデータ） (2021-05-29T21:22:24Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳（メタデータ） (2021-04-20T05:43:44Z) - Identity-Driven DeepFake Detection [91.0504621868628]
アイデンティティ駆動のDeepFake Detectionは、被疑者画像/ビデオとターゲットのアイデンティティ情報を入力する。
被疑者画像・映像の同一性は対象人物と同一かという判断を出力する。
本稿では,新たな研究のベースラインとして,簡単な識別ベース検出アルゴリズムであるouterfaceを提案する。
論文 参考訳（メタデータ） (2020-12-07T18:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。