論文の概要: Generalizable Deepfake Detection with Phase-Based Motion Analysis
- arxiv url: http://arxiv.org/abs/2211.09363v1
- Date: Thu, 17 Nov 2022 06:28:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 16:20:54.947139
- Title: Generalizable Deepfake Detection with Phase-Based Motion Analysis
- Title(参考訳): 位相ベース動作解析による一般化可能なディープフェイク検出
- Authors: Ekta Prashnani, Michael Goebel, B. S. Manjunath
- Abstract要約: 本稿では,時間的ダイナミクスの位相に基づく動き表現を利用するDeepFake(DF)ビデオ検出手法であるPhaseForensicsを提案する。
また,CelebDFv2 では 91.2% の動画レベル AUC で, 歪み, 対向性, 最先端のクロスデータセットの一般化が見られた。
- 参考スコア(独自算出の注目度): 11.042856247812969
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose PhaseForensics, a DeepFake (DF) video detection method that
leverages a phase-based motion representation of facial temporal dynamics.
Existing methods relying on temporal inconsistencies for DF detection present
many advantages over the typical frame-based methods. However, they still show
limited cross-dataset generalization and robustness to common distortions.
These shortcomings are partially due to error-prone motion estimation and
landmark tracking, or the susceptibility of the pixel intensity-based features
to spatial distortions and the cross-dataset domain shifts. Our key insight to
overcome these issues is to leverage the temporal phase variations in the
band-pass components of the Complex Steerable Pyramid on face sub-regions. This
not only enables a robust estimate of the temporal dynamics in these regions,
but is also less prone to cross-dataset variations. Furthermore, the band-pass
filters used to compute the local per-frame phase form an effective defense
against the perturbations commonly seen in gradient-based adversarial attacks.
Overall, with PhaseForensics, we show improved distortion and adversarial
robustness, and state-of-the-art cross-dataset generalization, with 91.2%
video-level AUC on the challenging CelebDFv2 (a recent state-of-the-art
compares at 86.9%).
- Abstract(参考訳): 顔の時間的ダイナミクスの位相に基づく動き表現を利用するDeepFake(DF)ビデオ検出法であるPhaseForensicsを提案する。
DF検出における時間的不整合に依存する既存の手法は、典型的なフレームベース手法よりも多くの利点がある。
しかし、それらは共通の歪みに対して限定的なクロスデータセットの一般化と堅牢性を示す。
これらの欠点は、部分的にはエラーを起こしやすい動きの推定とランドマーク追跡、あるいはピクセル強度に基づく特徴の空間歪みへの感受性とデータセット間のドメインシフトによるものである。
これらの問題を克服するための重要な洞察は、複雑なステアブルピラミッドのバンドパス成分の時間的位相変化を活用することである。
これにより、これらの領域の時間的ダイナミクスを堅牢に見積もることができるだけでなく、データセット間のばらつきも少なくなる。
さらに、局所的なフレーム単位の位相を計算するために用いられる帯域通過フィルタは、勾配に基づく敵攻撃でよく見られる摂動に対する効果的な防御となる。
全体として、PyseForensicsでは歪みと対向性の向上、最先端のクロスデータセットの一般化が示され、CelebDFv2(最近の最先端の86.9%)に挑戦するビデオレベルAUCは91.2%である。
関連論文リスト
- Spatial-temporal Memories Enhanced Graph Autoencoder for Anomaly Detection in Dynamic Graphs [52.956235109354175]
動的グラフにおける異常検出は、グラフ構造と属性の時間的進化によって大きな課題となる。
空間記憶強調グラフオートエンコーダ(STRIPE)について紹介する。
STRIPEは、動的グラフの異なる空間的・時間的ダイナミクスを効果的に活用することにより、異常を識別する優れた能力を示した。
論文 参考訳(メタデータ) (2024-03-14T02:26:10Z) - Video Anomaly Detection via Spatio-Temporal Pseudo-Anomaly Generation :
A Unified Approach [52.14916470104883]
本研究は,画像のマスキング領域にペンキを塗布することにより,汎用的な映像時間PAを生成する手法を提案する。
さらに,OCC設定下での現実世界の異常を検出するための単純な統合フレームワークを提案する。
提案手法は,OCC設定下での既存のPAs生成および再構築手法と同等に動作する。
論文 参考訳(メタデータ) (2023-11-27T13:14:06Z) - Unearthing Common Inconsistency for Generalisable Deepfake Detection [8.327980745153216]
ビデオレベル1は、複数のドメインにまたがる一般化と圧縮に対する堅牢性の両方を持つ可能性を示している。
本稿では,異なる偽造技術に広く存在するフレーム不整合を捉えることによって検出手法を提案する。
本研究では,時間的に保存されたモジュール法を導入し,空間雑音の摂動を導入し,時間的情報に対するモデルの注意を向ける。
論文 参考訳(メタデータ) (2023-11-20T06:04:09Z) - Towards Generalizable Deepfake Detection by Primary Region
Regularization [52.41801719896089]
本稿では,新しい正規化の観点から一般化能力を高める。
本手法は, 一次領域マップの静的な位置決めと, 一次領域マスクの動的利用の2段階からなる。
5つのバックボーンを持つDFDC,DF-1.0,Celeb-DFの3種類のディープフェイクデータセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-07-24T05:43:34Z) - Exploring the Relationship between Samples and Masks for Robust Defect
Localization [1.90365714903665]
本稿では,モデルプロセスなしで欠陥パターンを直接検出する一段階フレームワークを提案する。
欠陥の位置を示す可能性のある明示的な情報は、直接マッピングを学ぶことを避けるために意図的に除外される。
その結果,提案手法はF1-ScoreのSOTA法よりも2.9%高い値を示した。
論文 参考訳(メタデータ) (2023-06-19T06:41:19Z) - On Robust Cross-View Consistency in Self-Supervised Monocular Depth
Estimation [77.98526337404412]
本論文では,2種類の堅牢なクロスビュー整合性について検討する。
深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。
いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
論文 参考訳(メタデータ) (2022-09-19T03:46:13Z) - Delving into Sequential Patches for Deepfake Detection [64.19468088546743]
近年の顔偽造技術は、ほとんど追跡不可能なディープフェイクビデオを生み出しており、悪意のある意図で活用することができる。
従来の研究では、ディープフェイク法にまたがる一般化を追求する上で、局所的な低レベルな手がかりと時間的情報の重要性が指摘されてきた。
本稿では,局所的・時間的変換をベースとしたDeepfake Detectionフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-06T16:46:30Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [55.52743265122446]
ディープオートエンコーダは視覚領域における異常検出のタスクに使われてきた。
我々は、訓練中に識別情報を使用することが可能な自己指導型学習体制を適用することで、この問題に対処する。
MVTec ADデータセットを用いた実験では,高い検出性能と局所化性能を示した。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - MC-LCR: Multi-modal contrastive classification by locally correlated
representations for effective face forgery detection [11.124150983521158]
局所的関連表現を用いたマルチモーダルコントラスト分類法を提案する。
我々のMC-LCRは、空間領域と周波数領域の両方から真偽顔と偽顔の暗黙の局所的不一致を増幅することを目的としている。
我々は最先端の性能を達成し,本手法の堅牢性と一般化を実証する。
論文 参考訳(メタデータ) (2021-10-07T09:24:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。