論文の概要: DFREC: DeepFake Identity Recovery Based on Identity-aware Masked Autoencoder
- arxiv url: http://arxiv.org/abs/2412.07260v1
- Date: Tue, 10 Dec 2024 07:42:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-11 14:37:09.334657
- Title: DFREC: DeepFake Identity Recovery Based on Identity-aware Masked Autoencoder
- Title（参考訳）: DFREC: アイデンティティを意識したマスク付きオートエンコーダに基づくディープフェイクのアイデンティティ回復
- Authors: Peipeng Yu, Hui Gao, Zhitao Huang, Zhihua Xia, Chip-Hong Chang,
- Abstract要約: DFRECは、ディープフェイク画像からソースとターゲットの顔のペアを復元し、ディープフェイク識別追跡を容易にすることを目的としている。
DFRECはFaceForensics++, CelebaFS, FFHQ-E4Sデータセットに対して6つの異なる高忠実顔スワッピング攻撃に対して評価する。
- 参考スコア（独自算出の注目度）: 18.03674138250793
- License:
- Abstract: Recent advances in deepfake forensics have primarily focused on improving the classification accuracy and generalization performance. Despite enormous progress in detection accuracy across a wide variety of forgery algorithms, existing algorithms lack intuitive interpretability and identity traceability to help with forensic investigation. In this paper, we introduce a novel DeepFake Identity Recovery scheme (DFREC) to fill this gap. DFREC aims to recover the pair of source and target faces from a deepfake image to facilitate deepfake identity tracing and reduce the risk of deepfake attack. It comprises three key components: an Identity Segmentation Module (ISM), a Source Identity Reconstruction Module (SIRM), and a Target Identity Reconstruction Module (TIRM). The ISM segments the input face into distinct source and target face information, and the SIRM reconstructs the source face and extracts latent target identity features with the segmented source information. The background context and latent target identity features are synergetically fused by a Masked Autoencoder in the TIRM to reconstruct the target face. We evaluate DFREC on six different high-fidelity face-swapping attacks on FaceForensics++, CelebaMegaFS and FFHQ-E4S datasets, which demonstrate its superior recovery performance over state-of-the-art deepfake recovery algorithms. In addition, DFREC is the only scheme that can recover both pristine source and target faces directly from the forgery image with high fadelity.
- Abstract（参考訳）: 近年のディープフェイク法医学の進歩は, 分類精度と一般化性能の向上に主眼を置いている。
様々なフォージェリーアルゴリズムにおける検出精度の大幅な進歩にもかかわらず、既存のアルゴリズムは法医学的な調査に役立つ直感的な解釈可能性と識別トレーサビリティを欠いている。
本稿では,このギャップを埋めるための新しいDeepFake Identity Recovery scheme (DFREC)を提案する。
DFRECは、ディープフェイク画像からソースとターゲットの顔のペアを復元し、ディープフェイクのアイデンティティ追跡を促進し、ディープフェイク攻撃のリスクを低減することを目的としている。
ISM(Identity Segmentation Module)、SIRM(Source Identity Restruction Module)、TIRM(Target Identity Restruction Module)の3つの主要なコンポーネントで構成されている。
ISMは入力面を異なるソースおよびターゲット顔情報に分割し、SIRMはソース面を再構成し、セグメント化されたソース情報で潜在ターゲット識別特徴を抽出する。
背景コンテキストと潜在ターゲット識別機能は、TIRM内のMasked Autoencoderによって相乗的に融合され、ターゲットの顔が再構成される。
DFRECはFaceForensics++, CelebaMegaFS, FFHQ-E4Sの6種類の顔スワッピング攻撃に対して評価し, 最先端のディープフェイク回収アルゴリズムよりも優れた回復性能を示した。
さらに、DFRECは、偽画像から直接プリスタンソースとターゲットの顔の両方を高い忠実度で復元できる唯一のスキームである。
関連論文リスト
- DiffusionFake: Enhancing Generalization in Deepfake Detection via Guided Stable Diffusion [94.46904504076124]
ディープフェイク技術は、顔交換を極めて現実的にし、偽造された顔コンテンツの使用に対する懸念を高めている。
既存の方法は、顔操作の多様な性質のため、目に見えない領域に一般化するのに苦労することが多い。
顔偽造者の生成過程を逆転させて検出モデルの一般化を促進する新しいフレームワークであるDiffusionFakeを紹介する。
論文 参考訳（メタデータ） (2024-10-06T06:22:43Z) - IDRetracor: Towards Visual Forensics Against Malicious Face Swapping [30.804429527783395]
ディープフェイク法に基づく顔交換技術は、個人認証のセキュリティに重大な社会的リスクをもたらす。
本稿では,対象の顔と偽の顔とを逆マッピングにより追跡する,顔追跡という新しいタスクを提案する。
我々は,IDRetracorが定量的,定性的両面から有望なリトラシング性能を示すことを示す。
論文 参考訳（メタデータ） (2024-08-13T04:53:48Z) - UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳（メタデータ） (2024-07-26T20:51:54Z) - Face Reconstruction Transfer Attack as Out-of-Distribution Generalization [15.258162177124317]
未確認エンコーダに対する顔攻撃を転送できる顔画像の再構成を目指す。
OODの性質に着想を得て,疑似目標(ALSUV)を用いた平均遅延探索と教師なし検証による顔再構成伝達攻撃(FRTA)の解法を提案する。
論文 参考訳（メタデータ） (2024-07-02T16:21:44Z) - UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳（メタデータ） (2024-02-12T19:39:26Z) - Cross-domain Robust Deepfake Bias Expansion Network for Face Forgery
Detection [4.269822517578155]
本稿では,顔偽造検出を強化するために,クロスドメインロバストバイアス拡張ネットワーク(BENet)を導入する。
BENetは、入力顔の再構成にオートエンコーダを使用し、実際の顔の不変性を維持しつつ、再構成された偽顔と元の顔との差を選択的に強化する。
さらに、BENetは、サンプルが既知の分布に属するかどうかを決定する閾値を持つクロスドメイン検出器を組み込んでいる。
論文 参考訳（メタデータ） (2023-10-08T11:30:22Z) - Vec2Face-v2: Unveil Human Faces from their Blackbox Features via
Attention-based Network in Face Recognition [36.23997331928846]
蒸留フレームワーク(DAB-GAN)における意図に基づく客観的生成適応ネットワーク(Bijective Generative Adversarial Networks)と呼ばれる新しい手法を提案する。
DAB-GAN法は、新しく定義されたBijective Metrics Learningアプローチによる、新しい注意に基づく生成構造を含む。
我々は,難解な顔認識データベースについて評価を行った。
論文 参考訳（メタデータ） (2022-09-11T19:14:21Z) - Exposing Deepfake with Pixel-wise AR and PPG Correlation from Faint
Signals [3.0034765247774864]
ディープフェイクは、法的証拠と知的財産保護の信頼性に深刻な脅威をもたらす。
既存の画素レベルの検出方法は、偽ビデオの増大するリアリズムに抵抗できない。
フェースビデオに隠された暗信号を通してディープフェイクを露呈する手法を提案する。
論文 参考訳（メタデータ） (2021-10-29T06:05:52Z) - End2End Occluded Face Recognition by Masking Corrupted Features [82.27588990277192]
最先端の一般的な顔認識モデルは、隠蔽された顔画像に対してうまく一般化しない。
本稿では,1つのエンドツーエンドのディープニューラルネットワークに基づいて,オクルージョンに頑健な新しい顔認識手法を提案する。
我々のアプローチは、深い畳み込みニューラルネットワークから破損した特徴を発見し、動的に学習されたマスクによってそれらをきれいにする。
論文 参考訳（メタデータ） (2021-08-21T09:08:41Z) - Identity-Driven DeepFake Detection [91.0504621868628]
アイデンティティ駆動のDeepFake Detectionは、被疑者画像/ビデオとターゲットのアイデンティティ情報を入力する。
被疑者画像・映像の同一性は対象人物と同一かという判断を出力する。
本稿では,新たな研究のベースラインとして,簡単な識別ベース検出アルゴリズムであるouterfaceを提案する。
論文 参考訳（メタデータ） (2020-12-07T18:59:08Z) - Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing [61.82466976737915]
深層学習は、顔の反偽造の最も効果的な方法の1つとして証明されている。
2つの洞察に基づいて,複数フレームからの提示攻撃を検出する新しい手法を提案する。
提案手法は,5つのベンチマークデータセットの最先端結果を実現する。
論文 参考訳（メタデータ） (2020-03-18T06:11:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。