論文の概要: Deep Convolutional Pooling Transformer for Deepfake Detection
- arxiv url: http://arxiv.org/abs/2209.05299v4
- Date: Wed, 29 Mar 2023 02:53:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 18:53:37.688837
- Title: Deep Convolutional Pooling Transformer for Deepfake Detection
- Title(参考訳): ディープフェイク検出用ディープ畳み込みプールトランス
- Authors: Tianyi Wang, Harry Cheng, Kam Pui Chow, Liqiang Nie
- Abstract要約: 本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。
具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。
提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
- 参考スコア(独自算出の注目度): 54.10864860009834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Deepfake has drawn considerable public attention due to security
and privacy concerns in social media digital forensics. As the wildly spreading
Deepfake videos on the Internet become more realistic, traditional detection
techniques have failed in distinguishing between real and fake. Most existing
deep learning methods mainly focus on local features and relations within the
face image using convolutional neural networks as a backbone. However, local
features and relations are insufficient for model training to learn enough
general information for Deepfake detection. Therefore, the existing Deepfake
detection methods have reached a bottleneck to further improve the detection
performance. To address this issue, we propose a deep convolutional Transformer
to incorporate the decisive image features both locally and globally.
Specifically, we apply convolutional pooling and re-attention to enrich the
extracted features and enhance efficacy. Moreover, we employ the barely
discussed image keyframes in model training for performance improvement and
visualize the feature quantity gap between the key and normal image frames
caused by video compression. We finally illustrate the transferability with
extensive experiments on several Deepfake benchmark datasets. The proposed
solution consistently outperforms several state-of-the-art baselines on both
within- and cross-dataset experiments.
- Abstract(参考訳): 近年、ソーシャルメディアデジタル法医学におけるセキュリティとプライバシーの懸念から、deepfakeが注目を集めている。
ネット上のDeepfakeビデオがますますリアルになるにつれて、従来の検出技術は本物と偽物の区別に失敗した。
既存のディープラーニング手法のほとんどは、畳み込みニューラルネットワークをバックボーンとして、顔画像内の局所的特徴と関係に焦点を当てている。
しかし,Deepfake検出に十分な一般情報を学習するには,局所的な特徴や関係が不十分である。
これにより,既存のディープフェイク検出手法がボトルネックとなり,検出性能がさらに向上した。
この問題に対処するために,ローカルおよびグローバルの両方で決定的な画像特徴を組み込む深層畳み込み変換器を提案する。
具体的には,抽出した特徴を豊かにし,有効性を高めるために畳み込みプールと再アテンションを適用する。
さらに,映像圧縮によるキーフレームと通常の画像フレーム間の特徴量差を可視化するために,モデルトレーニングにおいてほとんど議論されていない画像キーフレームを用いる。
最終的に、いくつかのdeepfakeベンチマークデータセットで広範な実験を行い、転送可能性を説明します。
提案手法は、内部および相互データセット実験において、最先端のベースラインを一貫して上回る。
関連論文リスト
- Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization [3.9440964696313485]
デジタル時代には、ディープフェイクや合成メディアの出現は、社会的・政治的整合性に対する重大な脅威となる。
オーディオ視覚のようなマルチモーダル操作に基づくディープフェイクは、より現実的であり、より大きな脅威をもたらす。
本稿では,音声・視覚的ディープフェイク検出にコンテキスト情報を活用する,リカレントニューラルネットワーク(RNN)に基づく新しいマルチモーダルアテンションフレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-02T18:45:01Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-07T07:19:45Z) - CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。
既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。
顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
論文 参考訳(メタデータ) (2023-09-30T12:30:25Z) - NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake
Detection [50.33525966541906]
既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。
NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。
我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
論文 参考訳(メタデータ) (2023-06-12T06:06:05Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳(メタデータ) (2021-04-20T05:43:44Z) - Multi-attentional Deepfake Detection [79.80308897734491]
ディープフェイクによる顔の偽造はインターネットに広まり、深刻な社会的懸念を引き起こしている。
新たなマルチアテンテーショナルディープフェイク検出ネットワークを提案する。
具体的には,1)ネットワークを異なる局所的部分へ配置するための複数の空間的注意ヘッド,2)浅い特徴の微妙なアーティファクトをズームするテクスチャ的特徴拡張ブロック,3)低レベルなテクスチャ特徴と高レベルなセマンティクス特徴をアグリゲートする,の3つの構成要素からなる。
論文 参考訳(メタデータ) (2021-03-03T13:56:14Z) - Improving DeepFake Detection Using Dynamic Face Augmentation [0.8793721044482612]
ほとんどの公開可能なDeepFake検出データセットには、限られたバリエーションがある。
ディープニューラルネットワークは、DeepFakeコンテンツの操作機能を検出するための学習ではなく、顔の特徴にオーバーフィットする傾向があります。
DeepFake検出を改善するために、CNN(Convolutional Neural Networks)をトレーニングするためのデータ拡張方法であるFace-Cutoutを紹介します。
論文 参考訳(メタデータ) (2021-02-18T20:25:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。