論文の概要: Leveraging Real Talking Faces via Self-Supervision for Robust Forgery Detection

• arxiv url: http://arxiv.org/abs/2201.07131v1
• Date: Tue, 18 Jan 2022 17:14:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 16:49:56.876658
• Title: Leveraging Real Talking Faces via Self-Supervision for Robust Forgery Detection
• Title（参考訳）: ロバスト偽造検出のためのセルフスーパービジョンによる実話顔の活用
• Authors: Alexandros Haliassos, Rodrigo Mira, Stavros Petridis, Maja Pantic
• Abstract要約: 本研究では,実話を用いた顔操作映像の検出手法を開発した。 本手法は, クロスマニピュレーションの一般化とロバストネス実験における最先端性能を実現する。 以上の結果から、より堅牢な顔偽造検知器の開発には、自然ビデオと未表示ビデオの活用が有望な方向であることが示唆された。
• 参考スコア（独自算出の注目度）: 112.96004727646115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the most pressing challenges for the detection of face-manipulated videos is generalising to forgery methods not seen during training while remaining effective under common corruptions such as compression. In this paper, we question whether we can tackle this issue by harnessing videos of real talking faces, which contain rich information on natural facial appearance and behaviour and are readily available in large quantities online. Our method, termed RealForensics, consists of two stages. First, we exploit the natural correspondence between the visual and auditory modalities in real videos to learn, in a self-supervised cross-modal manner, temporally dense video representations that capture factors such as facial movements, expression, and identity. Second, we use these learned representations as targets to be predicted by our forgery detector along with the usual binary forgery classification task; this encourages it to base its real/fake decision on said factors. We show that our method achieves state-of-the-art performance on cross-manipulation generalisation and robustness experiments, and examine the factors that contribute to its performance. Our results suggest that leveraging natural and unlabelled videos is a promising direction for the development of more robust face forgery detectors.
• Abstract（参考訳）: 顔操作ビデオの検出における最も差し迫った課題の1つは、訓練中に見られない偽造法を一般化することであり、圧縮などの一般的な腐敗下では有効である。 本稿では,自然の表情や行動に関する情報を豊富に含み,オンラインで簡単に入手できる実話の映像を用いて,この問題に取り組むことができるか疑問を呈する。 本手法は realforensics と呼ばれ, 2 段階からなる。 まず,実映像における視覚と聴覚のモダリティの自然な対応を利用して,顔の動きや表情,アイデンティティなどの要因を捉えた時間的に密接な映像表現を自己教師ありのクロスモーダル方式で学習する。 第二に、これらの学習された表現を、通常の二分法フォージェリ分類タスクとともに、フォージェリ検出器によって予測されるターゲットとして使用する。 本手法は,クロスマニピュレーションの一般化とロバストネス実験における最先端性能を実現し,その性能に寄与する要因について検討する。 以上の結果から,より堅牢な顔偽造検出装置の開発には,自然な映像やラベルなし動画の利用が有望な方向であることが示唆された。

関連論文リスト

• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• Learning Natural Consistency Representation for Face Forgery Video Detection [23.53549629885891]
  本研究では,自然表現(NACO)の実写映像を自己監督的に学習することを提案する。 我々の手法は、他の最先端の手法よりも優れたロバスト性を持つ。
  論文  参考訳（メタデータ） (2024-07-15T09:00:02Z)
• Learning Expressive And Generalizable Motion Features For Face Forgery Detection [52.54404879581527]
  本稿では,既存のビデオ分類手法に基づく,シーケンスに基づく効果的な偽造検出フレームワークを提案する。 動作特徴をより表現しやすくするために,別の動作整合ブロックを提案する。 一般的なビデオ分類ネットワークを3つの顔偽造データに対して有望な結果を達成する。
  論文  参考訳（メタデータ） (2024-03-08T09:25:48Z)
• Watch Those Words: Video Falsification Detection Using Word-Conditioned Facial Motion [82.06128362686445]
  本稿では,安価なディープフェイクと視覚的に説得力のあるディープフェイクの両方を扱うためのマルチモーダルな意味法医学的アプローチを提案する。 帰属という概念を利用して、ある話者と他の話者を区別する個人固有の生体パターンを学習する。 既存の個人固有のアプローチとは異なり、この手法は口唇の操作に焦点を当てた攻撃にも有効である。
  論文  参考訳（メタデータ） (2021-12-21T01:57:04Z)
• Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery Detection [118.37239586697139]
  LipForensicsは、操作の一般化と様々な歪みに耐えられる検出アプローチである。 視覚的音声認識(リリーディング)を行うために、初めて時間ネットワークを事前訓練する。 その後、リアルタイムおよび偽造データの固定された口埋め込みに時間的ネットワークを微調整し、低レベルな操作固有のアーティファクトに過度に適合することなく、口の動きに基づいて偽のビデオを検出する。
  論文  参考訳（メタデータ） (2020-12-14T15:53:56Z)
• ID-Reveal: Identity-aware DeepFake Video Detection [24.79483180234883]
  ID-Reveal(ID-Reveal)は、時間的顔の特徴を学習する新しいアプローチだ。 偽物のトレーニングデータは必要ありませんが、実際のビデオでトレーニングするだけです。 高圧縮映像における顔再現の精度は平均15%以上向上した。
  論文  参考訳（メタデータ） (2020-12-04T10:43:16Z)
• Spoof Face Detection Via Semi-Supervised Adversarial Training [34.99908561729825]
  顔の偽造は、顔認識システムに深刻なセキュリティ上の脅威を引き起こす。 本研究では,スプーフ顔検出のための半教師付き対向学習フレームワークを提案する。 われわれのアプローチは、スプーフの面がないため、様々な種類のスプーフ、さらには未知のスプーフに対して、堅牢で一般的なものである。
  論文  参考訳（メタデータ） (2020-05-22T04:32:33Z)
• VideoForensicsHQ: Detecting High-quality Manipulated Face Videos [77.60295082172098]
  偽造検知器の性能は、人間の目で見られる人工物の存在にどのように依存するかを示す。 前例のない品質の顔ビデオ偽造検出のための新しいベンチマークデータセットを導入する。
  論文  参考訳（メタデータ） (2020-05-20T21:17:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。