論文の概要: Exploiting Style Latent Flows for Generalizing Deepfake Detection Video
Detection
- arxiv url: http://arxiv.org/abs/2403.06592v1
- Date: Mon, 11 Mar 2024 10:35:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 19:21:09.006485
- Title: Exploiting Style Latent Flows for Generalizing Deepfake Detection Video
Detection
- Title(参考訳): ディープフェイク検出ビデオ検出のための爆発型潜水流
- Authors: Jongwook Choi, Taehoon Kim, Yonghyun Jeong, Seungryul Baek, Jongwon
Choi
- Abstract要約: 提案手法は, 映像の時間的変化におけるスタイル潜在ベクトルの解析と異常挙動に基づいて, フェイクビデオの検出を行う手法である。
我々のフレームワークは、スタイル潜在ベクトルの動的特性を表現するために、コントラスト学習によって訓練されたStyleGRUモジュールを利用する。
- 参考スコア(独自算出の注目度): 18.74940718158182
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a new approach for the detection of fake videos, based on
the analysis of style latent vectors and their abnormal behavior in temporal
changes in the generated videos. We discovered that the generated facial videos
suffer from the temporal distinctiveness in the temporal changes of style
latent vectors, which are inevitable during the generation of temporally stable
videos with various facial expressions and geometric transformations. Our
framework utilizes the StyleGRU module, trained by contrastive learning, to
represent the dynamic properties of style latent vectors. Additionally, we
introduce a style attention module that integrates StyleGRU-generated features
with content-based features, enabling the detection of visual and temporal
artifacts. We demonstrate our approach across various benchmark scenarios in
deepfake detection, showing its superiority in cross-dataset and
cross-manipulation scenarios. Through further analysis, we also validate the
importance of using temporal changes of style latent vectors to improve the
generality of deepfake video detection.
- Abstract(参考訳): 本稿では,生成した映像の時間変化におけるスタイル潜伏ベクトルの解析と異常挙動に基づいて,偽映像の検出を行う新しい手法を提案する。
その結果,生成した顔映像は,表情や幾何学的変換の時間的安定な映像の生成において必然的に避けられない,潜伏ベクトルの時間的変化の時間的特徴に苦しむことがわかった。
我々のフレームワークは、スタイル潜在ベクトルの動的特性を表現するために、コントラスト学習によって訓練されたStyleGRUモジュールを利用する。
さらに,StyleGRU生成機能とコンテンツベース機能を統合し,視覚的および時間的アーティファクトの検出を可能にするスタイルアテンションモジュールを導入する。
ディープフェイク検出における様々なベンチマークシナリオにまたがるアプローチを実証し,クロスデータセットおよびクロスマニピュレーションシナリオにおけるその優位性を示す。
さらに,ディープフェイク映像検出の汎用性を向上させるために,潜伏ベクトルの時間的変化を用いた場合の重要性を検証した。
関連論文リスト
- Exposing AI-generated Videos: A Benchmark Dataset and a Local-and-Global Temporal Defect Based Detection Method [31.763312726582217]
生成モデルは、セキュリティ問題を引き起こす現実的なビデオの作成において、大きな進歩を遂げた。
本稿では,先進的な拡散型ビデオ生成アルゴリズムを用いて,様々なセマンティックな内容の映像データセットを構築する。
現在のAI生成ビデオの局所的およびグローバル的時間的欠陥を分析して、偽ビデオを公開するための新たな検出フレームワークを構築する。
論文 参考訳(メタデータ) (2024-05-07T09:00:09Z) - Dynamic Erasing Network Based on Multi-Scale Temporal Features for
Weakly Supervised Video Anomaly Detection [103.92970668001277]
弱教師付きビデオ異常検出のための動的消去ネットワーク(DE-Net)を提案する。
まず,異なる長さのセグメントから特徴を抽出できるマルチスケール時間モデリングモジュールを提案する。
そして,検出された異常の完全性を動的に評価する動的消去戦略を設計する。
論文 参考訳(メタデータ) (2023-12-04T09:40:11Z) - Holistic Representation Learning for Multitask Trajectory Anomaly
Detection [65.72942351514956]
そこで本研究では,異なる時間帯における骨格軌跡の包括的表現による予測運動の学習を提案する。
我々は、時間的閉鎖された軌道を符号化し、ブロックされたセグメントの潜在表現を共同学習し、異なる時間的セグメントにわたる期待運動に基づいて軌道を再構築する。
論文 参考訳(メタデータ) (2023-11-03T11:32:53Z) - Style-Agnostic Reinforcement Learning [9.338454092492901]
本稿では,スタイル伝達と逆学習の両方を用いて,スタイル非依存表現を学習する新しい手法を提案する。
本手法は,固有対向型生成器から生成される多様な画像スタイルでアクターを訓練する。
提案手法は,Procgen and Distracting Control Suiteベンチマークにおける最先端の手法よりも,競争力や性能の向上が期待できる。
論文 参考訳(メタデータ) (2022-08-31T13:45:00Z) - Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。
短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
論文 参考訳(メタデータ) (2022-03-14T17:55:41Z) - PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。
PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。
モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
論文 参考訳(メタデータ) (2021-12-01T19:49:57Z) - Video Salient Object Detection via Contrastive Features and Attention
Modules [106.33219760012048]
本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。
コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。
提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-03T17:40:32Z) - Weakly Supervised Video Salient Object Detection [79.51227350937721]
本稿では,relabeled relabeled "fixation guided scribble annotations" に基づく最初の弱教師付きビデオサリエント物体検出モデルを提案する。
効果的なマルチモーダル学習と長期時間文脈モデリングを実現するために,「アプレンス・モーション・フュージョン・モジュール」と双方向のConvLSTMベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-06T09:48:38Z) - Learning Long-Term Style-Preserving Blind Video Temporal Consistency [6.6908747077585105]
本論文では, 映像に適用される変換を, 繰り返しニューラルネットワークという形で後処理モデルを提案する。
我々のモデルは、最近GANビデオ生成のために導入されたPing Pongプロシージャとそれに対応する損失を用いて訓練されている。
DAVISとvidevo.netデータセットのモデルを評価し、フリック除去に関する最先端の結果を提供することを示す。
論文 参考訳(メタデータ) (2021-03-12T13:54:34Z) - Spatio-temporal Features for Generalized Detection of Deepfake Videos [12.453288832098314]
我々は3D CNNによってモデル化された時間的特徴を提案し、新しい種類のディープビデオを検出する能力を拡張した。
提案手法は,一般化能力において既存手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-10-22T16:28:50Z) - Dynamic texture analysis for detecting fake faces in video sequences [6.1356022122903235]
本研究では,映像信号のテクスチャ・時間的ダイナミクスの解析について検討する。
目標は、実際の偽のシーケンスを識別し、識別することである。
時間セグメントの連成解析に基づいて複数の二分決定を構築することを提案する。
論文 参考訳(メタデータ) (2020-07-30T07:21:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。