論文の概要: Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery
Detection
- arxiv url: http://arxiv.org/abs/2012.07657v2
- Date: Fri, 2 Apr 2021 10:24:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-08 14:28:40.213090
- Title: Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery
Detection
- Title(参考訳): Lips Don't Lie:顔偽造検出のための汎用的でロバストなアプローチ
- Authors: Alexandros Haliassos, Konstantinos Vougioukas, Stavros Petridis, Maja
Pantic
- Abstract要約: LipForensicsは、操作の一般化と様々な歪みに耐えられる検出アプローチである。
視覚的音声認識(リリーディング)を行うために、初めて時間ネットワークを事前訓練する。
その後、リアルタイムおよび偽造データの固定された口埋め込みに時間的ネットワークを微調整し、低レベルな操作固有のアーティファクトに過度に適合することなく、口の動きに基づいて偽のビデオを検出する。
- 参考スコア(独自算出の注目度): 118.37239586697139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although current deep learning-based face forgery detectors achieve
impressive performance in constrained scenarios, they are vulnerable to samples
created by unseen manipulation methods. Some recent works show improvements in
generalisation but rely on cues that are easily corrupted by common
post-processing operations such as compression. In this paper, we propose
LipForensics, a detection approach capable of both generalising to novel
manipulations and withstanding various distortions. LipForensics targets
high-level semantic irregularities in mouth movements, which are common in many
generated videos. It consists in first pretraining a spatio-temporal network to
perform visual speech recognition (lipreading), thus learning rich internal
representations related to natural mouth motion. A temporal network is
subsequently finetuned on fixed mouth embeddings of real and forged data in
order to detect fake videos based on mouth movements without overfitting to
low-level, manipulation-specific artefacts. Extensive experiments show that
this simple approach significantly surpasses the state-of-the-art in terms of
generalisation to unseen manipulations and robustness to perturbations, as well
as shed light on the factors responsible for its performance.
- Abstract(参考訳): 現在のディープラーニングベースの顔偽造検知器は制約のあるシナリオで優れた性能を発揮するが、目に見えない操作法によって生成されたサンプルには弱い。
最近のいくつかの作品では一般化が改善されているが、圧縮のような一般的な後処理操作によって容易に崩壊する手がかりに依存している。
本稿では,新しい操作への一般化と様々な歪みに耐えられる検出手法であるLipForensicsを提案する。
LipForensicsは、多くの生成されたビデオで一般的な口の動きにおける高いレベルの意味的不規則をターゲットとしている。
まず、時空間ネットワークを事前学習し、視覚音声認識(リプリーディング)を行い、自然な口の動きに関する豊かな内部表現を学習する。
その後、リアルタイムおよび偽造データの固定された口埋め込みに時間的ネットワークを微調整し、低レベルな操作固有のアーティファクトに過度に適合することなく、口の動きに基づいて偽のビデオを検出する。
広範な実験により、この単純なアプローチは、目に見えない操作への一般化や摂動に対する頑健さ、そしてその性能の要因に光を当てるという点で、最先端を著しく上回っていることが示されている。
関連論文リスト
- Learning Expressive And Generalizable Motion Features For Face Forgery
Detection [52.54404879581527]
本稿では,既存のビデオ分類手法に基づく,シーケンスに基づく効果的な偽造検出フレームワークを提案する。
動作特徴をより表現しやすくするために,別の動作整合ブロックを提案する。
一般的なビデオ分類ネットワークを3つの顔偽造データに対して有望な結果を達成する。
論文 参考訳(メタデータ) (2024-03-08T09:25:48Z) - Recap: Detecting Deepfake Video with Unpredictable Tampered Traces via
Recovering Faces and Mapping Recovered Faces [35.04806736119123]
本稿では,顔の復元による非特異な顔部分の不整合を露呈する新しいディープフェイク検出モデルRecapを提案する。
回復段階において、モデルは興味のある領域をランダムにマスキングし、予測不能な痕跡を残さずに実際の顔を再構築することに焦点を当てる。
マッピング段階では、リカバリフェーズの出力が顔マッピングプロセスの指針となる。
論文 参考訳(メタデータ) (2023-08-19T06:18:11Z) - Self-supervised Transformer for Deepfake Detection [112.81127845409002]
現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。
転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。
本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2022-03-02T17:44:40Z) - Leveraging Real Talking Faces via Self-Supervision for Robust Forgery
Detection [112.96004727646115]
本研究では,実話を用いた顔操作映像の検出手法を開発した。
本手法は, クロスマニピュレーションの一般化とロバストネス実験における最先端性能を実現する。
以上の結果から、より堅牢な顔偽造検知器の開発には、自然ビデオと未表示ビデオの活用が有望な方向であることが示唆された。
論文 参考訳(メタデータ) (2022-01-18T17:14:54Z) - Watch Those Words: Video Falsification Detection Using Word-Conditioned
Facial Motion [82.06128362686445]
本稿では,安価なディープフェイクと視覚的に説得力のあるディープフェイクの両方を扱うためのマルチモーダルな意味法医学的アプローチを提案する。
帰属という概念を利用して、ある話者と他の話者を区別する個人固有の生体パターンを学習する。
既存の個人固有のアプローチとは異なり、この手法は口唇の操作に焦点を当てた攻撃にも有効である。
論文 参考訳(メタデータ) (2021-12-21T01:57:04Z) - ID-Reveal: Identity-aware DeepFake Video Detection [24.79483180234883]
ID-Reveal(ID-Reveal)は、時間的顔の特徴を学習する新しいアプローチだ。
偽物のトレーニングデータは必要ありませんが、実際のビデオでトレーニングするだけです。
高圧縮映像における顔再現の精度は平均15%以上向上した。
論文 参考訳(メタデータ) (2020-12-04T10:43:16Z) - Adversarial Attack on Deep Learning-Based Splice Localization [14.669890331986794]
画像の操作を隠蔽する3つの非エンドツーエンドのディープラーニングベースのスプライスローカライズツールを,新たなアルゴリズムを用いて実証する。
生成した対向的摂動は, 局部化性能の劣化に関して, それら間で伝達可能であることが判明した。
論文 参考訳(メタデータ) (2020-04-17T20:31:38Z) - Towards Achieving Adversarial Robustness by Enforcing Feature
Consistency Across Bit Planes [51.31334977346847]
我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。
異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
論文 参考訳(メタデータ) (2020-04-01T09:31:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。