論文の概要: Learning Natural Consistency Representation for Face Forgery Video Detection

• arxiv url: http://arxiv.org/abs/2407.10550v1
• Date: Mon, 15 Jul 2024 09:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 15:50:53.332635
• Title: Learning Natural Consistency Representation for Face Forgery Video Detection
• Title（参考訳）: 顔偽ビデオ検出のための自然な一貫性表現の学習
• Authors: Daichi Zhang, Zihao Xiao, Shikun Li, Fanzhao Lin, Jianmin Li, Shiming Ge,
• Abstract要約: 本研究では,自然表現(NACO)の実写映像を自己監督的に学習することを提案する。 我々の手法は、他の最先端の手法よりも優れたロバスト性を持つ。
• 参考スコア（独自算出の注目度）: 23.53549629885891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face Forgery videos have elicited critical social public concerns and various detectors have been proposed. However, fully-supervised detectors may lead to easily overfitting to specific forgery methods or videos, and existing self-supervised detectors are strict on auxiliary tasks, such as requiring audio or multi-modalities, leading to limited generalization and robustness. In this paper, we examine whether we can address this issue by leveraging visual-only real face videos. To this end, we propose to learn the Natural Consistency representation (NACO) of real face videos in a self-supervised manner, which is inspired by the observation that fake videos struggle to maintain the natural spatiotemporal consistency even under unknown forgery methods and different perturbations. Our NACO first extracts spatial features of each frame by CNNs then integrates them into Transformer to learn the long-range spatiotemporal representation, leveraging the advantages of CNNs and Transformer on local spatial receptive field and long-term memory respectively. Furthermore, a Spatial Predictive Module~(SPM) and a Temporal Contrastive Module~(TCM) are introduced to enhance the natural consistency representation learning. The SPM aims to predict random masked spatial features from spatiotemporal representation, and the TCM regularizes the latent distance of spatiotemporal representation by shuffling the natural order to disturb the consistency, which could both force our NACO more sensitive to the natural spatiotemporal consistency. After the representation learning stage, a MLP head is fine-tuned to perform the usual forgery video classification task. Extensive experiments show that our method outperforms other state-of-the-art competitors with impressive generalization and robustness.
• Abstract（参考訳）: Face Forgeryのビデオは、社会的な重要な懸念を招き、さまざまな検知器が提案されている。 しかし、完全教師付き検出器は特定の偽造法やビデオに容易に適合し、既存の自己監督検出器はオーディオやマルチモダリティなどの補助的なタスクに厳しいため、一般化と堅牢性が制限される。 本稿では,視覚のみのリアル・フェイス・ビデオを活用することで,この問題に対処できるかどうかを検討する。 この目的のために,偽ビデオが未知の偽造法や異なる摂動の下でも自然時空間の一貫性を維持するのに苦戦しているという観察から着想を得た,実顔映像の自然な一貫性表現(NACO)を自己監督的に学習することを提案する。 我々のNACOはまず,各フレームの空間的特徴をCNNによって抽出し,それをTransformerに統合し,CNNとTransformerの利点をそれぞれ局所的空間受容野と長期記憶に活用する。 さらに、自然整合性表現学習を強化するために、空間予測モジュール~(SPM)と時間コントラストモジュール~(TCM)を導入する。 SPMは時空間の空間的特徴を時空間表現から予測することを目的としており、TCMは時空間表現の潜時距離を自然な順序をシャッフルすることで時空間表現の一貫性を乱し、NACOを時空間の時間的一貫性により敏感にする可能性がある。 表現学習段階の後、MLPヘッドを微調整して、通常の偽ビデオ分類タスクを実行する。 大規模な実験により,本手法は他の最先端の競合相手よりも優れた一般化とロバスト性を示した。

関連論文リスト

• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• Unearthing Common Inconsistency for Generalisable Deepfake Detection [8.327980745153216]
  ビデオレベル1は、複数のドメインにまたがる一般化と圧縮に対する堅牢性の両方を持つ可能性を示している。 本稿では,異なる偽造技術に広く存在するフレーム不整合を捉えることによって検出手法を提案する。 本研究では,時間的に保存されたモジュール法を導入し,空間雑音の摂動を導入し,時間的情報に対するモデルの注意を向ける。
  論文  参考訳（メタデータ） (2023-11-20T06:04:09Z)
• Latent Spatiotemporal Adaptation for Generalized Face Forgery Video Detection [22.536129731902783]
  顔画像の一般的な検出を容易にするためのLatemporal Spatio(LAST)アプローチを提案する。 まず、各フレームの局所的な空間的特徴を抽出するために、軽量CNNを組み込むことで、ビデオの時間的パターンをモデル化する。 次に、静止空間ビデオの長期的表現を学習し、画素空間よりも多くの手がかりを含むべきである。
  論文  参考訳（メタデータ） (2023-09-09T13:40:44Z)
• LOGO-Former: Local-Global Spatio-Temporal Transformer for Dynamic Facial Expression Recognition [19.5702895176141]
  野生の表情認識(DFER)の従来の方法は、主にCNN(Convolutional Neural Networks)に基づいており、ローカル操作はビデオの長距離依存性を無視している。 DFERのトランスフォーマーを用いた性能向上手法を提案するが,高いFLOPと計算コストが生じる。 DFEW と FERV39K の2つの動的表情データセットの実験結果から,DFER の空間的および時間的依存関係を効果的に活用する方法が示唆された。
  論文  参考訳（メタデータ） (2023-05-05T07:53:13Z)
• Deeply-Coupled Convolution-Transformer with Spatial-temporal Complementary Learning for Video-based Person Re-identification [91.56939957189505]
  本稿では,高性能ビデオベース Re-ID のための新しい時空間補完学習フレームワークである Deeply-Coupled Convolution-Transformer (DCCT) を提案する。 私たちのフレームワークは、ほとんどの最先端のメソッドよりも優れたパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2023-04-27T12:16:44Z)
• Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption [94.5031244215761]
  本稿では,実際のビデオにない「規則性破壊」を識別することで,ディープフェイク検出の一般化を促進することを提案する。 具体的には、空間的・時間的特性を慎重に調べることで、擬似フェイク発生器による実映像の破壊を提案する。 このような手法により,フェイクビデオを使わずにディープフェイク検出が可能となり,よりシンプルかつ効率的に一般化能力を向上させることができる。
  論文  参考訳（メタデータ） (2022-07-21T10:42:34Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Leveraging Real Talking Faces via Self-Supervision for Robust Forgery Detection [112.96004727646115]
  本研究では,実話を用いた顔操作映像の検出手法を開発した。 本手法は, クロスマニピュレーションの一般化とロバストネス実験における最先端性能を実現する。 以上の結果から、より堅牢な顔偽造検知器の開発には、自然ビデオと未表示ビデオの活用が有望な方向であることが示唆された。
  論文  参考訳（メタデータ） (2022-01-18T17:14:54Z)
• Spatiotemporal Inconsistency Learning for DeepFake Video Detection [51.747219106855624]
  本稿では,水平方向と垂直方向の両方で隣接するフレーム間の時間差を利用して,TIMにおける新しい時間的モデリングパラダイムを提案する。 ISMは、SIMからの空間情報とTIMからの時間情報とを同時に利用し、より包括的な時空間表現を確立する。
  論文  参考訳（メタデータ） (2021-09-04T13:05:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。