論文の概要: AltFreezing for More General Video Face Forgery Detection

• arxiv url: http://arxiv.org/abs/2307.08317v1
• Date: Mon, 17 Jul 2023 08:24:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 14:14:20.974384
• Title: AltFreezing for More General Video Face Forgery Detection
• Title（参考訳）: より一般的なビデオ顔偽造検出のためのAltフリーズ
• Authors: Zhendong Wang, Jianmin Bao, Wengang Zhou, Weilun Wang, Houqiang Li
• Abstract要約: 顔偽造検出のための1つのモデルにおいて,空間的および見えない時間的アーティファクトの両方をキャプチャすることを提案する。 より一般的な顔偽造検出のためのAltFreezingと呼ばれる新しいトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 138.5732617371004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing face forgery detection models try to discriminate fake images by detecting only spatial artifacts (e.g., generative artifacts, blending) or mainly temporal artifacts (e.g., flickering, discontinuity). They may experience significant performance degradation when facing out-domain artifacts. In this paper, we propose to capture both spatial and temporal artifacts in one model for face forgery detection. A simple idea is to leverage a spatiotemporal model (3D ConvNet). However, we find that it may easily rely on one type of artifact and ignore the other. To address this issue, we present a novel training strategy called AltFreezing for more general face forgery detection. The AltFreezing aims to encourage the model to detect both spatial and temporal artifacts. It divides the weights of a spatiotemporal network into two groups: spatial-related and temporal-related. Then the two groups of weights are alternately frozen during the training process so that the model can learn spatial and temporal features to distinguish real or fake videos. Furthermore, we introduce various video-level data augmentation methods to improve the generalization capability of the forgery detection model. Extensive experiments show that our framework outperforms existing methods in terms of generalization to unseen manipulations and datasets. Code is available at https: //github.com/ZhendongWang6/AltFreezing.
• Abstract（参考訳）: 既存の顔偽造検出モデルは、空間的アーティファクト(例えば、生成アーティファクト、ブレンディング)または主に時間的アーティファクト(例えば、フリッカリング、不連続)を検出することによって、偽画像の識別を試みる。 ドメイン外アーティファクトに直面した場合、パフォーマンスが著しく低下する可能性がある。 本稿では,顔偽造検出のための一つのモデルにおいて,空間的および時間的アーティファクトをキャプチャする手法を提案する。 単純なアイデアは時空間モデル(3D ConvNet)を活用することである。 しかし、ある種類のアーティファクトに簡単に依存し、もう一方を無視している可能性がある。 この問題に対処するために,より一般的な顔偽造検出のためのAltFreezingと呼ばれる新しいトレーニング戦略を提案する。 AltFreezingは、空間的および時間的アーティファクトの両方を検出するモデルを促進することを目的としている。 時空間ネットワークの重みは空間的関係と時間的関係の2つのグループに分けられる。 次に、トレーニングプロセス中に2つの重みの群が交互に凍結され、モデルが空間的および時間的特徴を学習し、実または偽のビデオの区別を可能にする。 さらに, 偽造検出モデルの一般化能力を向上させるため, 様々な映像レベルのデータ拡張手法を導入する。 広範な実験によって、我々のフレームワークは、未発見の操作やデータセットへの一般化の観点から、既存のメソッドよりも優れています。 コードはhttps: //github.com/ZhendongWang6/AltFreezingで入手できる。

関連論文リスト

• Generalizing Deepfake Video Detection with Plug-and-Play: Video-Level Blending and Spatiotemporal Adapter Tuning [42.86270268974854]
  時間的特徴は複雑で多様である。 時空間モデルは、しばしばある種類のアーティファクトに強く依存し、もう一方を無視します。 ビデオは当然リソース集約だ。
  論文  参考訳（メタデータ） (2024-08-30T07:49:57Z)
• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• Latent Spatiotemporal Adaptation for Generalized Face Forgery Video Detection [22.536129731902783]
  顔画像の一般的な検出を容易にするためのLatemporal Spatio(LAST)アプローチを提案する。 まず、各フレームの局所的な空間的特徴を抽出するために、軽量CNNを組み込むことで、ビデオの時間的パターンをモデル化する。 次に、静止空間ビデオの長期的表現を学習し、画素空間よりも多くの手がかりを含むべきである。
  論文  参考訳（メタデータ） (2023-09-09T13:40:44Z)
• Detection of Deepfake Videos Using Long Distance Attention [73.6659488380372]
  既存のほとんどの検出方法は、問題をバニラ二項分類問題として扱う。 本稿では,偽顔と実顔の相違が非常に微妙であるため,特にきめ細かな分類問題として扱われる。 大域的な視点で空間的・時間的偽の痕跡を捉えるための2つの要素を持つ時空間モデルを提案する。
  論文  参考訳（メタデータ） (2021-06-24T08:33:32Z)
• ST-HOI: A Spatial-Temporal Baseline for Human-Object Interaction Detection in Videos [91.29436920371003]
  時空間HoI検出(ST-HOI)という,シンプルで効果的なアーキテクチャを提案する。 我々は、人や物体の軌跡、正しく位置付けられた視覚的特徴、空間的マスキングのポーズ特徴などの時間的情報を利用する。 我々は、VidHOIと呼ばれる新しいビデオHOIベンチマークを構築し、提案手法は安定したベースラインとして機能する。
  論文  参考訳（メタデータ） (2021-05-25T07:54:35Z)
• CutPaste: Self-Supervised Learning for Anomaly Detection and Localization [59.719925639875036]
  通常のトレーニングデータのみを用いて異常検知器を構築するためのフレームワークを提案する。 まず、自己教師付き深層表現を学習し、学習した表現の上に生成的1クラス分類器を構築する。 MVTec異常検出データセットに関する実証研究は,提案アルゴリズムが実世界の様々な欠陥を検出可能であることを実証している。
  論文  参考訳（メタデータ） (2021-04-08T19:04:55Z)
• Two-branch Recurrent Network for Isolating Deepfakes in Videos [17.59209853264258]
  本稿では,2分岐ネットワーク構造に基づくディープフェイク検出手法を提案する。 1つのブランチは元の情報を伝達し、もう1つのブランチは顔の内容を抑制する。 当社の2つの新しいコンポーネントは、FaceForensics++、Celeb-DF、FacebookのDFDCプレビューベンチマークで有望な結果を示している。
  論文  参考訳（メタデータ） (2020-08-08T01:38:56Z)
• Deepfake Detection using Spatiotemporal Convolutional Networks [0.0]
  ディープフェイク検出法は個々のフレームのみを使用し、時間情報から学習することができない。 我々はCeleb-DFデータセットを用いて性能のベンチマークを作成した。 提案手法は,最先端のフレームベース検出法より優れていた。
  論文  参考訳（メタデータ） (2020-06-26T01:32:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。