論文の概要: Detection of Deepfake Videos Using Long Distance Attention
- arxiv url: http://arxiv.org/abs/2106.12832v1
- Date: Thu, 24 Jun 2021 08:33:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 15:08:24.581464
- Title: Detection of Deepfake Videos Using Long Distance Attention
- Title(参考訳): 長距離注意によるディープフェイク映像の検出
- Authors: Wei Lu, Lingyi Liu, Junwei Luo, Xianfeng Zhao, Yicong Zhou, Jiwu Huang
- Abstract要約: 既存のほとんどの検出方法は、問題をバニラ二項分類問題として扱う。
本稿では,偽顔と実顔の相違が非常に微妙であるため,特にきめ細かな分類問題として扱われる。
大域的な視点で空間的・時間的偽の痕跡を捉えるための2つの要素を持つ時空間モデルを提案する。
- 参考スコア(独自算出の注目度): 73.6659488380372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid progress of deepfake techniques in recent years, facial video
forgery can generate highly deceptive video contents and bring severe security
threats. And detection of such forgery videos is much more urgent and
challenging. Most existing detection methods treat the problem as a vanilla
binary classification problem. In this paper, the problem is treated as a
special fine-grained classification problem since the differences between fake
and real faces are very subtle. It is observed that most existing face forgery
methods left some common artifacts in the spatial domain and time domain,
including generative defects in the spatial domain and inter-frame
inconsistencies in the time domain. And a spatial-temporal model is proposed
which has two components for capturing spatial and temporal forgery traces in
global perspective respectively. The two components are designed using a novel
long distance attention mechanism. The one component of the spatial domain is
used to capture artifacts in a single frame, and the other component of the
time domain is used to capture artifacts in consecutive frames. They generate
attention maps in the form of patches. The attention method has a broader
vision which contributes to better assembling global information and extracting
local statistic information. Finally, the attention maps are used to guide the
network to focus on pivotal parts of the face, just like other fine-grained
classification methods. The experimental results on different public datasets
demonstrate that the proposed method achieves the state-of-the-art performance,
and the proposed long distance attention method can effectively capture pivotal
parts for face forgery.
- Abstract(参考訳): 近年、ディープフェイク技術の急速な進歩により、顔ビデオの偽造は、非常に欺かれやすいビデオコンテンツを生成し、深刻なセキュリティ上の脅威をもたらす可能性がある。
そしてこのような偽ビデオの検出は、もっと緊急で難しい。
多くの既存の検出方法は、問題をバニラ二項分類問題として扱う。
本稿では,偽の顔と実顔の差異が非常に微妙なので,この問題を特別な細粒度分類問題として扱う。
既存の顔偽造法のほとんどは,空間領域における生成的欠陥や時間領域におけるフレーム間不整合など,空間領域と時間領域に共通するアーティファクトを残している。
また,グローバルな視点でそれぞれ空間的・時間的偽証跡を捕捉する2つの成分を持つ時空間モデルを提案する。
この2つのコンポーネントは、新しい長距離注意機構を用いて設計されている。
空間領域の1つのコンポーネントは1フレームでアーティファクトをキャプチャするために使用され、時間領域のもう1つのコンポーネントは連続フレームでアーティファクトをキャプチャするために使用される。
それらはパッチの形でアテンションマップを生成します。
このアテンション手法は,グローバルな情報の組み立てや地域統計情報の抽出に寄与する,より広いビジョンを持つ。
最後に、注意マップを使用して、他のきめ細かい分類方法と同様に、ネットワークが顔のピボット部分に集中するように誘導する。
異なる公開データセットを用いた実験結果から,提案手法が最先端の性能を達成し,提案手法が顔偽造の重要な部品を効果的に捕捉できることを示した。
関連論文リスト
- Learning Expressive And Generalizable Motion Features For Face Forgery
Detection [52.54404879581527]
本稿では,既存のビデオ分類手法に基づく,シーケンスに基づく効果的な偽造検出フレームワークを提案する。
動作特徴をより表現しやすくするために,別の動作整合ブロックを提案する。
一般的なビデオ分類ネットワークを3つの顔偽造データに対して有望な結果を達成する。
論文 参考訳(メタデータ) (2024-03-08T09:25:48Z) - COMICS: End-to-end Bi-grained Contrastive Learning for Multi-face Forgery Detection [56.7599217711363]
顔偽造認識法は一度に1つの顔しか処理できない。
ほとんどの顔偽造認識法は一度に1つの顔しか処理できない。
マルチフェイスフォージェリ検出のためのエンドツーエンドフレームワークであるCOMICSを提案する。
論文 参考訳(メタデータ) (2023-08-03T03:37:13Z) - AltFreezing for More General Video Face Forgery Detection [138.5732617371004]
顔偽造検出のための1つのモデルにおいて,空間的および見えない時間的アーティファクトの両方をキャプチャすることを提案する。
より一般的な顔偽造検出のためのAltFreezingと呼ばれる新しいトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2023-07-17T08:24:58Z) - Cross-Domain Local Characteristic Enhanced Deepfake Video Detection [18.430287055542315]
ディープフェイク検出はセキュリティ上の懸念から注目を集めている。
多くの検出器は、目に見えない操作を検出する際に正確な結果を得ることができない。
そこで我々は,より一般的なディープフェイクビデオ検出のための新しいパイプラインであるクロスドメインローカルフォレスティクスを提案する。
論文 参考訳(メタデータ) (2022-11-07T07:44:09Z) - Multimodal Graph Learning for Deepfake Detection [10.077496841634135]
既存のディープフェイク検出器は、堅牢性と一般化を達成する上でいくつかの課題に直面している。
本稿では,マルチモーダルグラフ学習(MGL)という新しいフレームワークを提案する。
提案手法は,ディープフェイク検出のための特徴を効果的に識別し,活用することを目的としている。
論文 参考訳(メタデータ) (2022-09-12T17:17:49Z) - Video Salient Object Detection via Contrastive Features and Attention
Modules [106.33219760012048]
本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。
コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。
提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-03T17:40:32Z) - MC-LCR: Multi-modal contrastive classification by locally correlated
representations for effective face forgery detection [11.124150983521158]
局所的関連表現を用いたマルチモーダルコントラスト分類法を提案する。
我々のMC-LCRは、空間領域と周波数領域の両方から真偽顔と偽顔の暗黙の局所的不一致を増幅することを目的としている。
我々は最先端の性能を達成し,本手法の堅牢性と一般化を実証する。
論文 参考訳(メタデータ) (2021-10-07T09:24:12Z) - Multi-attentional Deepfake Detection [79.80308897734491]
ディープフェイクによる顔の偽造はインターネットに広まり、深刻な社会的懸念を引き起こしている。
新たなマルチアテンテーショナルディープフェイク検出ネットワークを提案する。
具体的には,1)ネットワークを異なる局所的部分へ配置するための複数の空間的注意ヘッド,2)浅い特徴の微妙なアーティファクトをズームするテクスチャ的特徴拡張ブロック,3)低レベルなテクスチャ特徴と高レベルなセマンティクス特徴をアグリゲートする,の3つの構成要素からなる。
論文 参考訳(メタデータ) (2021-03-03T13:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。