論文の概要: Generalizing Deepfake Video Detection with Plug-and-Play: Video-Level Blending and Spatiotemporal Adapter Tuning

• arxiv url: http://arxiv.org/abs/2408.17065v1
• Date: Fri, 30 Aug 2024 07:49:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 16:09:30.441869
• Title: Generalizing Deepfake Video Detection with Plug-and-Play: Video-Level Blending and Spatiotemporal Adapter Tuning
• Title（参考訳）: プラグイン・アンド・プレイによるディープフェイク映像検出の一般化:ビデオレベルブレンディングと時空間アダプタ調整
• Authors: Zhiyuan Yan, Yandan Zhao, Shen Chen, Xinghe Fu, Taiping Yao, Shouhong Ding, Li Yuan,
• Abstract要約: 時間的特徴は複雑で多様である。 時空間モデルは、しばしばある種類のアーティファクトに強く依存し、もう一方を無視します。 ビデオは当然リソース集約だ。
• 参考スコア（独自算出の注目度）: 42.86270268974854
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Three key challenges hinder the development of current deepfake video detection: (1) Temporal features can be complex and diverse: how can we identify general temporal artifacts to enhance model generalization? (2) Spatiotemporal models often lean heavily on one type of artifact and ignore the other: how can we ensure balanced learning from both? (3) Videos are naturally resource-intensive: how can we tackle efficiency without compromising accuracy? This paper attempts to tackle the three challenges jointly. First, inspired by the notable generality of using image-level blending data for image forgery detection, we investigate whether and how video-level blending can be effective in video. We then perform a thorough analysis and identify a previously underexplored temporal forgery artifact: Facial Feature Drift (FFD), which commonly exists across different forgeries. To reproduce FFD, we then propose a novel Video-level Blending data (VB), where VB is implemented by blending the original image and its warped version frame-by-frame, serving as a hard negative sample to mine more general artifacts. Second, we carefully design a lightweight Spatiotemporal Adapter (StA) to equip a pretrained image model (both ViTs and CNNs) with the ability to capture both spatial and temporal features jointly and efficiently. StA is designed with two-stream 3D-Conv with varying kernel sizes, allowing it to process spatial and temporal features separately. Extensive experiments validate the effectiveness of the proposed methods; and show our approach can generalize well to previously unseen forgery videos, even the just-released (in 2024) SoTAs. We release our code and pretrained weights at \url{https://github.com/YZY-stack/StA4Deepfake}.
• Abstract（参考訳）: 1) 時間的特徴は複雑で多様なものになり得る: モデル一般化を強化するためにどのように一般的な時間的アーティファクトを特定できるか? 2)時空間モデルは、しばしばある種類のアーティファクトに強く依存し、もう一方を無視します。 (3)動画は自然に資源集約的であり, 精度を損なうことなく, どうすれば効率に対処できるのか? 本稿では,3つの課題を共同で解決しようと試みる。 まず、画像偽造検出に画像レベルのブレンディングデータを使用することの顕著な一般化に着想を得て、ビデオレベルのブレンディングがビデオに有効であるかどうかを調査する。 そこで我々は,これまで未発見の時間的偽造品である顔面特徴ドリフト(FFD)を網羅的に分析し,同定した。 FFD を再生するために,VB はオリジナル画像とワープされたバージョンをフレーム単位でブレンドして実装され,より一般的なアーティファクトをマイニングするためのハードネガティブなサンプルとして機能するビデオレベルブレンディングデータ (VB) を提案する。 第2に、空間的特徴と時間的特徴を同時かつ効率的に捉える能力を備えた事前訓練画像モデル(ViTとCNNの両方)を装備するための軽量時空間適応器(StA)を慎重に設計する。 StAはカーネルサイズが異なる2ストリームの3D-Convで設計されており、空間的特徴と時間的特徴を別々に処理できる。 提案手法の有効性を検証し,2024年にリリースされたばかりのSOTAでさえも,これまで見つからなかった偽ビデオに対して,我々のアプローチをうまく一般化できることを示す。 コードと事前トレーニングされたウェイトは、 \url{https://github.com/YZY-stack/StA4Deepfake} でリリースしています。

関連論文リスト

• Learning Temporally Consistent Video Depth from Video Diffusion Priors [57.929828486615605]
  本研究は,映像深度推定の課題に対処する。 我々は予測タスクを条件付き生成問題に再構成する。 これにより、既存のビデオ生成モデルに埋め込まれた事前の知識を活用することができる。
  論文  参考訳（メタデータ） (2024-06-03T16:20:24Z)
• Distinguish Any Fake Videos: Unleashing the Power of Large-scale Data and Motion Features [21.583246378475856]
  我々は、AI生成ビデオ検出(GenVidDet)に特化して設計された広範なビデオデータセットを紹介する。 また,DuB3D(Du-Branch 3D Transformer)という,実写映像と実写映像を区別する革新的な方法を提案する。 DuB3Dは、96.77%の精度で実際の映像コンテンツと生成された映像コンテンツを区別でき、目に見えないタイプでも強力な一般化能力を持つ。
  論文  参考訳（メタデータ） (2024-05-24T08:26:04Z)
• Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
  ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
  論文  参考訳（メタデータ） (2024-03-18T17:59:58Z)
• AltFreezing for More General Video Face Forgery Detection [138.5732617371004]
  顔偽造検出のための1つのモデルにおいて,空間的および見えない時間的アーティファクトの両方をキャプチャすることを提案する。 より一般的な顔偽造検出のためのAltFreezingと呼ばれる新しいトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-17T08:24:58Z)
• TAPE: Temporal Attention-based Probabilistic human pose and shape Estimation [7.22614468437919]
  既存の手法では復元のあいまいさを無視し、3Dポーズの1つの決定論的推定を提供する。 本稿では,RGBビデオで動作する時間的注意に基づく確率的人間のポーズと形状推定手法を提案する。 TAPEは標準ベンチマークにおいて最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-29T06:08:43Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。 我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-27T16:38:52Z)
• Learnable Sampling 3D Convolution for Video Enhancement and Action Recognition [24.220358793070965]
  3次元畳み込み(emphLS3D-Conv)の能力を向上させるための新しいモジュールを導入する。 学習可能な2Dオフセットを3D畳み込みに追加し、フレーム間の空間的特徴マップ上の位置をサンプリングする。 ビデオ, ビデオ超解像, ビデオデノナイズ, アクション認識実験により, 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-22T09:20:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。