論文の概要: Generalizable Deepfake Detection with Phase-Based Motion Analysis
- arxiv url: http://arxiv.org/abs/2211.09363v1
- Date: Thu, 17 Nov 2022 06:28:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 16:20:54.947139
- Title: Generalizable Deepfake Detection with Phase-Based Motion Analysis
- Title（参考訳）: 位相ベース動作解析による一般化可能なディープフェイク検出
- Authors: Ekta Prashnani, Michael Goebel, B. S. Manjunath
- Abstract要約: 本稿では,時間的ダイナミクスの位相に基づく動き表現を利用するDeepFake(DF)ビデオ検出手法であるPhaseForensicsを提案する。
また,CelebDFv2 では 91.2% の動画レベル AUC で, 歪み, 対向性, 最先端のクロスデータセットの一般化が見られた。
- 参考スコア（独自算出の注目度）: 11.042856247812969
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose PhaseForensics, a DeepFake (DF) video detection method that
leverages a phase-based motion representation of facial temporal dynamics.
Existing methods relying on temporal inconsistencies for DF detection present
many advantages over the typical frame-based methods. However, they still show
limited cross-dataset generalization and robustness to common distortions.
These shortcomings are partially due to error-prone motion estimation and
landmark tracking, or the susceptibility of the pixel intensity-based features
to spatial distortions and the cross-dataset domain shifts. Our key insight to
overcome these issues is to leverage the temporal phase variations in the
band-pass components of the Complex Steerable Pyramid on face sub-regions. This
not only enables a robust estimate of the temporal dynamics in these regions,
but is also less prone to cross-dataset variations. Furthermore, the band-pass
filters used to compute the local per-frame phase form an effective defense
against the perturbations commonly seen in gradient-based adversarial attacks.
Overall, with PhaseForensics, we show improved distortion and adversarial
robustness, and state-of-the-art cross-dataset generalization, with 91.2%
video-level AUC on the challenging CelebDFv2 (a recent state-of-the-art
compares at 86.9%).
- Abstract（参考訳）: 顔の時間的ダイナミクスの位相に基づく動き表現を利用するDeepFake(DF)ビデオ検出法であるPhaseForensicsを提案する。
DF検出における時間的不整合に依存する既存の手法は、典型的なフレームベース手法よりも多くの利点がある。
しかし、それらは共通の歪みに対して限定的なクロスデータセットの一般化と堅牢性を示す。
これらの欠点は、部分的にはエラーを起こしやすい動きの推定とランドマーク追跡、あるいはピクセル強度に基づく特徴の空間歪みへの感受性とデータセット間のドメインシフトによるものである。
これらの問題を克服するための重要な洞察は、複雑なステアブルピラミッドのバンドパス成分の時間的位相変化を活用することである。
これにより、これらの領域の時間的ダイナミクスを堅牢に見積もることができるだけでなく、データセット間のばらつきも少なくなる。
さらに、局所的なフレーム単位の位相を計算するために用いられる帯域通過フィルタは、勾配に基づく敵攻撃でよく見られる摂動に対する効果的な防御となる。
全体として、PyseForensicsでは歪みと対向性の向上、最先端のクロスデータセットの一般化が示され、CelebDFv2(最近の最先端の86.9%)に挑戦するビデオレベルAUCは91.2%である。
関連論文リスト
- DIP: Diffusion Learning of Inconsistency Pattern for General DeepFake Detection [18.116004258266535]
ディフュージョン不整合学習(DIP)のためのトランスフォーマーベースフレームワークを提案する。
提案手法は,偽の手がかりを効果的に同定し,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-10-31T06:26:00Z) - Harnessing Wavelet Transformations for Generalizable Deepfake Forgery Detection [0.0]
Wavelet-CLIPは、ウェーブレット変換とViT-L/14アーキテクチャに由来する機能を統合したディープフェイク検出フレームワークで、CLIP方式で事前トレーニングされている。
提案手法は,データ間一般化における平均AUC0.749,不明瞭なディープフェイクに対するロバスト性0.893を達成し,優れた性能を示す。
論文 参考訳（メタデータ） (2024-09-26T21:16:51Z) - UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳（メタデータ） (2024-07-26T20:51:54Z) - Video Anomaly Detection via Spatio-Temporal Pseudo-Anomaly Generation : A Unified Approach [49.995833831087175]
本研究は,画像のマスキング領域にペンキを塗布することにより,汎用的な映像時間PAを生成する手法を提案する。
さらに,OCC設定下での現実世界の異常を検出するための単純な統合フレームワークを提案する。
提案手法は,OCC設定下での既存のPAs生成および再構築手法と同等に動作する。
論文 参考訳（メタデータ） (2023-11-27T13:14:06Z) - Towards Generalizable Deepfake Detection by Primary Region
Regularization [52.41801719896089]
本稿では,新しい正規化の観点から一般化能力を高める。
本手法は, 一次領域マップの静的な位置決めと, 一次領域マスクの動的利用の2段階からなる。
5つのバックボーンを持つDFDC,DF-1.0,Celeb-DFの3種類のディープフェイクデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-07-24T05:43:34Z) - On Robust Cross-View Consistency in Self-Supervised Monocular Depth Estimation [56.97699793236174]
本論文では,2種類の堅牢なクロスビュー整合性について検討する。
深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。
いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
論文 参考訳（メタデータ） (2022-09-19T03:46:13Z) - Delving into Sequential Patches for Deepfake Detection [64.19468088546743]
近年の顔偽造技術は、ほとんど追跡不可能なディープフェイクビデオを生み出しており、悪意のある意図で活用することができる。
従来の研究では、ディープフェイク法にまたがる一般化を追求する上で、局所的な低レベルな手がかりと時間的情報の重要性が指摘されてきた。
本稿では,局所的・時間的変換をベースとしたDeepfake Detectionフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-06T16:46:30Z) - MC-LCR: Multi-modal contrastive classification by locally correlated
representations for effective face forgery detection [11.124150983521158]
局所的関連表現を用いたマルチモーダルコントラスト分類法を提案する。
我々のMC-LCRは、空間領域と周波数領域の両方から真偽顔と偽顔の暗黙の局所的不一致を増幅することを目的としている。
我々は最先端の性能を達成し,本手法の堅牢性と一般化を実証する。
論文 参考訳（メタデータ） (2021-10-07T09:24:12Z) - Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。
本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。
複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
論文 参考訳（メタデータ） (2020-03-31T22:38:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。