論文の概要: Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery Detection

• arxiv url: http://arxiv.org/abs/2012.07657v2
• Date: Fri, 2 Apr 2021 10:24:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 14:28:40.213090
• Title: Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery Detection
• Title（参考訳）: Lips Don't Lie:顔偽造検出のための汎用的でロバストなアプローチ
• Authors: Alexandros Haliassos, Konstantinos Vougioukas, Stavros Petridis, Maja Pantic
• Abstract要約: LipForensicsは、操作の一般化と様々な歪みに耐えられる検出アプローチである。 視覚的音声認識(リリーディング)を行うために、初めて時間ネットワークを事前訓練する。 その後、リアルタイムおよび偽造データの固定された口埋め込みに時間的ネットワークを微調整し、低レベルな操作固有のアーティファクトに過度に適合することなく、口の動きに基づいて偽のビデオを検出する。
• 参考スコア（独自算出の注目度）: 118.37239586697139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although current deep learning-based face forgery detectors achieve impressive performance in constrained scenarios, they are vulnerable to samples created by unseen manipulation methods. Some recent works show improvements in generalisation but rely on cues that are easily corrupted by common post-processing operations such as compression. In this paper, we propose LipForensics, a detection approach capable of both generalising to novel manipulations and withstanding various distortions. LipForensics targets high-level semantic irregularities in mouth movements, which are common in many generated videos. It consists in first pretraining a spatio-temporal network to perform visual speech recognition (lipreading), thus learning rich internal representations related to natural mouth motion. A temporal network is subsequently finetuned on fixed mouth embeddings of real and forged data in order to detect fake videos based on mouth movements without overfitting to low-level, manipulation-specific artefacts. Extensive experiments show that this simple approach significantly surpasses the state-of-the-art in terms of generalisation to unseen manipulations and robustness to perturbations, as well as shed light on the factors responsible for its performance.
• Abstract（参考訳）: 現在のディープラーニングベースの顔偽造検知器は制約のあるシナリオで優れた性能を発揮するが、目に見えない操作法によって生成されたサンプルには弱い。 最近のいくつかの作品では一般化が改善されているが、圧縮のような一般的な後処理操作によって容易に崩壊する手がかりに依存している。 本稿では,新しい操作への一般化と様々な歪みに耐えられる検出手法であるLipForensicsを提案する。 LipForensicsは、多くの生成されたビデオで一般的な口の動きにおける高いレベルの意味的不規則をターゲットとしている。 まず、時空間ネットワークを事前学習し、視覚音声認識(リプリーディング)を行い、自然な口の動きに関する豊かな内部表現を学習する。 その後、リアルタイムおよび偽造データの固定された口埋め込みに時間的ネットワークを微調整し、低レベルな操作固有のアーティファクトに過度に適合することなく、口の動きに基づいて偽のビデオを検出する。 広範な実験により、この単純なアプローチは、目に見えない操作への一般化や摂動に対する頑健さ、そしてその性能の要因に光を当てるという点で、最先端を著しく上回っていることが示されている。

関連論文リスト

• DiffusionFake: Enhancing Generalization in Deepfake Detection via Guided Stable Diffusion [94.46904504076124]
  ディープフェイク技術は、顔交換を極めて現実的にし、偽造された顔コンテンツの使用に対する懸念を高めている。 既存の方法は、顔操作の多様な性質のため、目に見えない領域に一般化するのに苦労することが多い。 顔偽造者の生成過程を逆転させて検出モデルの一般化を促進する新しいフレームワークであるDiffusionFakeを紹介する。
  論文  参考訳（メタデータ） (2024-10-06T06:22:43Z)
• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• Learning Expressive And Generalizable Motion Features For Face Forgery Detection [52.54404879581527]
  本稿では,既存のビデオ分類手法に基づく,シーケンスに基づく効果的な偽造検出フレームワークを提案する。 動作特徴をより表現しやすくするために,別の動作整合ブロックを提案する。 一般的なビデオ分類ネットワークを3つの顔偽造データに対して有望な結果を達成する。
  論文  参考訳（メタデータ） (2024-03-08T09:25:48Z)
• Recap: Detecting Deepfake Video with Unpredictable Tampered Traces via Recovering Faces and Mapping Recovered Faces [35.04806736119123]
  本稿では,顔の復元による非特異な顔部分の不整合を露呈する新しいディープフェイク検出モデルRecapを提案する。 回復段階において、モデルは興味のある領域をランダムにマスキングし、予測不能な痕跡を残さずに実際の顔を再構築することに焦点を当てる。 マッピング段階では、リカバリフェーズの出力が顔マッピングプロセスの指針となる。
  論文  参考訳（メタデータ） (2023-08-19T06:18:11Z)
• Self-supervised Transformer for Deepfake Detection [112.81127845409002]
  現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。 転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。 本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-02T17:44:40Z)
• Leveraging Real Talking Faces via Self-Supervision for Robust Forgery Detection [112.96004727646115]
  本研究では,実話を用いた顔操作映像の検出手法を開発した。 本手法は, クロスマニピュレーションの一般化とロバストネス実験における最先端性能を実現する。 以上の結果から、より堅牢な顔偽造検知器の開発には、自然ビデオと未表示ビデオの活用が有望な方向であることが示唆された。
  論文  参考訳（メタデータ） (2022-01-18T17:14:54Z)
• ID-Reveal: Identity-aware DeepFake Video Detection [24.79483180234883]
  ID-Reveal(ID-Reveal)は、時間的顔の特徴を学習する新しいアプローチだ。 偽物のトレーニングデータは必要ありませんが、実際のビデオでトレーニングするだけです。 高圧縮映像における顔再現の精度は平均15%以上向上した。
  論文  参考訳（メタデータ） (2020-12-04T10:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。