論文の概要: Exploring Spatial-Temporal Features for Deepfake Detection and
Localization
- arxiv url: http://arxiv.org/abs/2210.15872v1
- Date: Fri, 28 Oct 2022 03:38:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 17:09:15.777501
- Title: Exploring Spatial-Temporal Features for Deepfake Detection and
Localization
- Title（参考訳）: deepfake検出と局所化のための空間-時間的特徴の探索
- Authors: Wu Haiwei and Zhou Jiantao and Zhang Shile and Tian Jinyu
- Abstract要約: 本稿では,空間的特徴と時間的特徴を同時に探索するDeepfakeネットワークを提案する。
具体的には、顔のマイクロ圧縮の正確な幾何学的動きをモデル化することにより、時間的(動き)の特徴を抽出する新しいアンカー・メシュ・モーション(AMM)アルゴリズムを設計する。
我々のST-DDLネットワークの優位性は、いくつかの最先端の競合相手との実験的比較によって検証される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the continuous research on Deepfake forensics, recent studies have
attempted to provide the fine-grained localization of forgeries, in addition to
the coarse classification at the video-level. However, the detection and
localization performance of existing Deepfake forensic methods still have
plenty of room for further improvement. In this work, we propose a
Spatial-Temporal Deepfake Detection and Localization (ST-DDL) network that
simultaneously explores spatial and temporal features for detecting and
localizing forged regions. Specifically, we design a new Anchor-Mesh Motion
(AMM) algorithm to extract temporal (motion) features by modeling the precise
geometric movements of the facial micro-expression. Compared with traditional
motion extraction methods (e.g., optical flow) designed to simulate
large-moving objects, our proposed AMM could better capture the
small-displacement facial features. The temporal features and the spatial
features are then fused in a Fusion Attention (FA) module based on a
Transformer architecture for the eventual Deepfake forensic tasks. The
superiority of our ST-DDL network is verified by experimental comparisons with
several state-of-the-art competitors, in terms of both video- and pixel-level
detection and localization performance. Furthermore, to impel the future
development of Deepfake forensics, we build a public forgery dataset consisting
of 6000 videos, with many new features such as using widely-used commercial
software (e.g., After Effects) for the production, providing online social
networks transmitted versions, and splicing multi-source videos. The source
code and dataset are available at https://github.com/HighwayWu/ST-DDL.
- Abstract（参考訳）: 近年のディープフェイク法医学の継続的な研究により、ビデオレベルでの粗い分類に加えて、偽造物の微粒な局在化を試みている。
しかし,既存のDeepfake法定法の検出とローカライズ性能には,さらなる改善の余地が十分にある。
本研究では,空間的・時間的特徴を同時に探索する空間的・時間的深度検出・局所化(ST-DDL)ネットワークを提案する。
具体的には,顔のマイクロ表現の精密な幾何学的動きをモデル化し,時間的(運動)特徴を抽出する新しいアンカー・メッシュ・モーション(amm)アルゴリズムを設計する。
移動物体を模擬する従来の動き抽出法(光流など)と比較して,提案したAMMは,動きの小さい顔の特徴をよりよく捉えることができる。
時間的特徴と空間的特徴は、最終的にDeepfakeの法医学的タスクのためのTransformerアーキテクチャに基づいてFusion Attention(FA)モジュールに融合される。
st-ddlネットワークの優位性は,映像および画素レベルの検出とローカライズ性能の両面において,最先端の競合企業との実験的比較によって検証される。
さらに, ディープフェイク法医学の今後の展開を促すために, 6000本のビデオからなる公開偽造データセットを構築し, 広く使用されている商用ソフトウェア(例えばafter effects)の使用, オンラインソーシャルネットワークの送信バージョンの提供, マルチソースビデオのスプライシングなど, 多数の新機能を盛り込んだ。
ソースコードとデータセットはhttps://github.com/HighwayWu/ST-DDLで公開されている。
関連論文リスト
- DiMoDif: Discourse Modality-information Differentiation for Audio-visual Deepfake Detection and Localization [13.840950434728533]
本稿では,新しいオーディオ・ビジュアル・ディープフェイク検出フレームワークを提案する。
実際のサンプルでは、ディープフェイクとは対照的に、視覚信号と音声信号は情報の観点から一致しているという仮定に基づいている。
ビデオと音声の音声認識に特化しているディープネットワークの機能を、フレームレベルのクロスモーダルな矛盾を見つけるために使用しています。
論文 参考訳（メタデータ） (2024-11-15T13:47:33Z) - Glitch in the Matrix: A Large Scale Benchmark for Content Driven
Audio-Visual Forgery Detection and Localization [20.46053083071752]
新しいデータセットであるLocalized Visual DeepFake (LAV-DF) の提案とベンチマークを行う。
LAV-DFは、戦略的コンテンツ駆動型オーディオ、ビジュアルおよびオーディオ視覚操作で構成されている。
提案するベースライン手法であるBundary Aware Temporal Forgery Detection (BA-TFD)は3次元畳み込みニューラルネットワークに基づくアーキテクチャである。
論文 参考訳（メタデータ） (2023-05-03T08:48:45Z) - Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。
具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。
提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2022-09-12T15:05:41Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳（メタデータ） (2022-08-24T16:54:38Z) - Delving into Sequential Patches for Deepfake Detection [64.19468088546743]
近年の顔偽造技術は、ほとんど追跡不可能なディープフェイクビデオを生み出しており、悪意のある意図で活用することができる。
従来の研究では、ディープフェイク法にまたがる一般化を追求する上で、局所的な低レベルな手がかりと時間的情報の重要性が指摘されてきた。
本稿では,局所的・時間的変換をベースとしたDeepfake Detectionフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-06T16:46:30Z) - Video Salient Object Detection via Contrastive Features and Attention
Modules [106.33219760012048]
本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。
コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。
提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-03T17:40:32Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳（メタデータ） (2021-04-20T05:43:44Z) - Dense Multiscale Feature Fusion Pyramid Networks for Object Detection in
UAV-Captured Images [0.09065034043031667]
本研究では,よりリッチな特徴を可能な限り得ることを目的とした,高密度多スケール特徴融合ピラミッドネットワーク(dmffpn)と呼ばれる新しい手法を提案する。
具体的には、密度の高い接続は、異なる畳み込み層からの表現を完全に活用するように設計されている。
VisDrone-DETと呼ばれるドローンベースのデータセットの実験は、我々の方法の競争力を示唆している。
論文 参考訳（メタデータ） (2020-12-19T10:05:31Z) - DS-Net: Dynamic Spatiotemporal Network for Video Salient Object
Detection [78.04869214450963]
時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。
提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-12-09T06:42:30Z) - Spatio-temporal Features for Generalized Detection of Deepfake Videos [12.453288832098314]
我々は3D CNNによってモデル化された時間的特徴を提案し、新しい種類のディープビデオを検出する能力を拡張した。
提案手法は,一般化能力において既存手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-10-22T16:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。