論文の概要: AltFreezing for More General Video Face Forgery Detection
- arxiv url: http://arxiv.org/abs/2307.08317v1
- Date: Mon, 17 Jul 2023 08:24:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 14:14:20.974384
- Title: AltFreezing for More General Video Face Forgery Detection
- Title(参考訳): より一般的なビデオ顔偽造検出のためのAltフリーズ
- Authors: Zhendong Wang, Jianmin Bao, Wengang Zhou, Weilun Wang, Houqiang Li
- Abstract要約: 顔偽造検出のための1つのモデルにおいて,空間的および見えない時間的アーティファクトの両方をキャプチャすることを提案する。
より一般的な顔偽造検出のためのAltFreezingと呼ばれる新しいトレーニング戦略を提案する。
- 参考スコア(独自算出の注目度): 138.5732617371004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing face forgery detection models try to discriminate fake images by
detecting only spatial artifacts (e.g., generative artifacts, blending) or
mainly temporal artifacts (e.g., flickering, discontinuity). They may
experience significant performance degradation when facing out-domain
artifacts. In this paper, we propose to capture both spatial and temporal
artifacts in one model for face forgery detection. A simple idea is to leverage
a spatiotemporal model (3D ConvNet). However, we find that it may easily rely
on one type of artifact and ignore the other. To address this issue, we present
a novel training strategy called AltFreezing for more general face forgery
detection. The AltFreezing aims to encourage the model to detect both spatial
and temporal artifacts. It divides the weights of a spatiotemporal network into
two groups: spatial-related and temporal-related. Then the two groups of
weights are alternately frozen during the training process so that the model
can learn spatial and temporal features to distinguish real or fake videos.
Furthermore, we introduce various video-level data augmentation methods to
improve the generalization capability of the forgery detection model. Extensive
experiments show that our framework outperforms existing methods in terms of
generalization to unseen manipulations and datasets. Code is available at
https: //github.com/ZhendongWang6/AltFreezing.
- Abstract(参考訳): 既存の顔偽造検出モデルは、空間的アーティファクト(例えば、生成アーティファクト、ブレンディング)または主に時間的アーティファクト(例えば、フリッカリング、不連続)を検出することによって、偽画像の識別を試みる。
ドメイン外アーティファクトに直面した場合、パフォーマンスが著しく低下する可能性がある。
本稿では,顔偽造検出のための一つのモデルにおいて,空間的および時間的アーティファクトをキャプチャする手法を提案する。
単純なアイデアは時空間モデル(3D ConvNet)を活用することである。
しかし、ある種類のアーティファクトに簡単に依存し、もう一方を無視している可能性がある。
この問題に対処するために,より一般的な顔偽造検出のためのAltFreezingと呼ばれる新しいトレーニング戦略を提案する。
AltFreezingは、空間的および時間的アーティファクトの両方を検出するモデルを促進することを目的としている。
時空間ネットワークの重みは空間的関係と時間的関係の2つのグループに分けられる。
次に、トレーニングプロセス中に2つの重みの群が交互に凍結され、モデルが空間的および時間的特徴を学習し、実または偽のビデオの区別を可能にする。
さらに, 偽造検出モデルの一般化能力を向上させるため, 様々な映像レベルのデータ拡張手法を導入する。
広範な実験によって、我々のフレームワークは、未発見の操作やデータセットへの一般化の観点から、既存のメソッドよりも優れています。
コードはhttps: //github.com/ZhendongWang6/AltFreezingで入手できる。
関連論文リスト
- HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳(メタデータ) (2023-03-25T13:56:33Z) - Towards Universal Fake Image Detectors that Generalize Across Generative
Models [33.783155752847506]
実Vsフェイク分類のためのディープネットワークを訓練する既存のパラダイムは、新しい世代生成モデルから偽画像を検出するのに失敗していることを示す。
実写画像と実写画像の区別を明示的に訓練されていない特徴空間を用いて,学習せずに実写映像の分類を行うことを提案する。
論文 参考訳(メタデータ) (2023-02-20T18:59:04Z) - Video Salient Object Detection via Contrastive Features and Attention
Modules [106.33219760012048]
本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。
コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。
提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-03T17:40:32Z) - Detection of Deepfake Videos Using Long Distance Attention [73.6659488380372]
既存のほとんどの検出方法は、問題をバニラ二項分類問題として扱う。
本稿では,偽顔と実顔の相違が非常に微妙であるため,特にきめ細かな分類問題として扱われる。
大域的な視点で空間的・時間的偽の痕跡を捉えるための2つの要素を持つ時空間モデルを提案する。
論文 参考訳(メタデータ) (2021-06-24T08:33:32Z) - Detecting Anomalies in Semantic Segmentation with Prototypes [23.999211737485812]
本稿では,プロトタイプ学習による異常セグメンテーションに対処することを提案する。
我々のアプローチは、過去の作品よりも大きな差で、新しい芸術の状態を達成している。
論文 参考訳(メタデータ) (2021-06-01T13:22:33Z) - ST-HOI: A Spatial-Temporal Baseline for Human-Object Interaction
Detection in Videos [91.29436920371003]
時空間HoI検出(ST-HOI)という,シンプルで効果的なアーキテクチャを提案する。
我々は、人や物体の軌跡、正しく位置付けられた視覚的特徴、空間的マスキングのポーズ特徴などの時間的情報を利用する。
我々は、VidHOIと呼ばれる新しいビデオHOIベンチマークを構築し、提案手法は安定したベースラインとして機能する。
論文 参考訳(メタデータ) (2021-05-25T07:54:35Z) - CutPaste: Self-Supervised Learning for Anomaly Detection and
Localization [59.719925639875036]
通常のトレーニングデータのみを用いて異常検知器を構築するためのフレームワークを提案する。
まず、自己教師付き深層表現を学習し、学習した表現の上に生成的1クラス分類器を構築する。
MVTec異常検出データセットに関する実証研究は,提案アルゴリズムが実世界の様々な欠陥を検出可能であることを実証している。
論文 参考訳(メタデータ) (2021-04-08T19:04:55Z) - Two-branch Recurrent Network for Isolating Deepfakes in Videos [17.59209853264258]
本稿では,2分岐ネットワーク構造に基づくディープフェイク検出手法を提案する。
1つのブランチは元の情報を伝達し、もう1つのブランチは顔の内容を抑制する。
当社の2つの新しいコンポーネントは、FaceForensics++、Celeb-DF、FacebookのDFDCプレビューベンチマークで有望な結果を示している。
論文 参考訳(メタデータ) (2020-08-08T01:38:56Z) - Deepfake Detection using Spatiotemporal Convolutional Networks [0.0]
ディープフェイク検出法は個々のフレームのみを使用し、時間情報から学習することができない。
我々はCeleb-DFデータセットを用いて性能のベンチマークを作成した。
提案手法は,最先端のフレームベース検出法より優れていた。
論文 参考訳(メタデータ) (2020-06-26T01:32:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。