論文の概要: Explaining Deepfake Detection by Analysing Image Matching
- arxiv url: http://arxiv.org/abs/2207.09679v1
- Date: Wed, 20 Jul 2022 06:23:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-21 13:29:14.773364
- Title: Explaining Deepfake Detection by Analysing Image Matching
- Title(参考訳): 画像マッチング解析によるディープフェイク検出の説明
- Authors: Shichao Dong, Jin Wang, Jiajun Liang, Haoqiang Fan and Renhe Ji
- Abstract要約: 本稿では,2値ラベルで教師されるだけで,ディープフェイク検出モデルが画像のアーティファクト特徴をどのように学習するかを解釈することを目的とする。
ディープフェイク検出モデルは、FST-Matchingを通じて人工物に関連する視覚概念を暗黙的に学習する。
本稿では,圧縮ビデオにおける偽造検出性能を高めるためのFSTマッチングディープフェイク検出モデルを提案する。
- 参考スコア(独自算出の注目度): 13.251308261180805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper aims to interpret how deepfake detection models learn artifact
features of images when just supervised by binary labels. To this end, three
hypotheses from the perspective of image matching are proposed as follows. 1.
Deepfake detection models indicate real/fake images based on visual concepts
that are neither source-relevant nor target-relevant, that is, considering such
visual concepts as artifact-relevant. 2. Besides the supervision of binary
labels, deepfake detection models implicitly learn artifact-relevant visual
concepts through the FST-Matching (i.e. the matching fake, source, target
images) in the training set. 3. Implicitly learned artifact visual concepts
through the FST-Matching in the raw training set are vulnerable to video
compression. In experiments, the above hypotheses are verified among various
DNNs. Furthermore, based on this understanding, we propose the FST-Matching
Deepfake Detection Model to boost the performance of forgery detection on
compressed videos. Experiment results show that our method achieves great
performance, especially on highly-compressed (e.g. c40) videos.
- Abstract(参考訳): 本稿では,deepfake検出モデルがバイナリラベルに監督された画像のアーティファクト特徴をどのように学習するかを解釈することを目的としている。
この目的のために,画像マッチングの観点からの3つの仮説を提案する。
1. ディープフェイク検出モデルでは, ソース関連やターゲット関連ではなく, アーティファクト関連のような視覚的概念を考慮し, 視覚的概念に基づく実像・実像を示す。
2 バイナリラベルの監督に加えて、深度検出モデルは、トレーニングセット内のFST-Matching(一致したフェイク、ソース、ターゲット画像)を通して、人工物に関連する視覚概念を暗黙的に学習する。
3) 生のトレーニングセットにおけるFST-Matchingを通して学習した人工物の概念はビデオ圧縮に弱い。
実験では、これらの仮説は様々なDNNで検証されている。
さらに、この理解に基づき、圧縮ビデオにおける偽検出性能を高めるために、FSTマッチングディープフェイク検出モデルを提案する。
実験の結果,特に高圧縮ビデオ(c40ビデオなど)では,優れた性能が得られることがわかった。
関連論文リスト
- AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image
Detectors [27.07771989900852]
深層生成モデルは、偽情報や著作権侵害に対する懸念を高めながら、驚くほど偽のイメージを作成することができる。
実画像と偽画像とを区別するためにディープフェイク検出技術が開発された。
本稿では,視覚言語モデル(VLM)を用いた新しい手法を提案する。
論文 参考訳(メタデータ) (2023-10-26T14:23:45Z) - Deepfake Detection of Occluded Images Using a Patch-based Approach [1.6114012813668928]
本研究では, 顔全体と顔のパッチを用いて, 障害物の有無で実像と偽像を識別する深層学習手法を提案する。
偽画像を作成するには、FFHQイメージでStyleGANとStyleGAN2を、CelebAイメージでStarGANとPGGANをトレーニングする。
提案手法は他の手法よりも早期に高い結果に到達し、異なる構築されたデータセットにおいてSoTAの結果を0.4%-7.9%向上させる。
論文 参考訳(メタデータ) (2023-04-10T12:12:14Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural
Images [59.71861772648853]
我々は,最先端拡散モデルにより生成された偽画像の正当性に関する体系的研究を開拓した。
我々の分析は、偽画像は共通の低レベルな手がかりを共有しており、容易に認識できることを示している。
本設定では,偽検出手法の性能を定量的に評価し,コントラッシブ・ベース・ディエンタング・ストラテジーを導入する。
論文 参考訳(メタデータ) (2023-04-02T10:25:09Z) - Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。
本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
論文 参考訳(メタデータ) (2023-03-03T18:59:47Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳(メタデータ) (2022-03-04T09:08:50Z) - DA-FDFtNet: Dual Attention Fake Detection Fine-tuning Network to Detect
Various AI-Generated Fake Images [21.030153777110026]
ディープフェイク」のような偽画像の作成がずっと簡単になった。
近年の研究では、少量のトレーニングデータを用いて、フェイク画像や動画をより効果的に生成する、いくつかのショットラーニングが導入されている。
本研究では,操作した偽顔画像を検出するために,DA-tNet(Dual Attention Fine-tuning Network)を提案する。
論文 参考訳(メタデータ) (2021-12-22T16:25:24Z) - Video Transformer for Deepfake Detection with Incremental Learning [11.586926513803077]
ディープフェイクによる顔の偽造はインターネットに広く浸透しており、これが深刻な社会的懸念を引き起こす。
本稿では,ディープフェイクビデオを検出するためのインクリメンタル学習を備えた新しいビデオトランスフォーマーを提案する。
論文 参考訳(メタデータ) (2021-08-11T16:22:56Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳(メタデータ) (2021-04-20T05:43:44Z) - Identifying Invariant Texture Violation for Robust Deepfake Detection [17.306386179823576]
Invariant Texture Learning frameworkは,低画質で公開されたデータセットにのみアクセスすることができる。
本手法は, 被写体から転写したテクスチャによって, 被写体表面の微視的顔のテクスチャが必然的に侵害されることを前提とした。
論文 参考訳(メタデータ) (2020-12-19T03:02:15Z) - Emotions Don't Lie: An Audio-Visual Deepfake Detection Method Using
Affective Cues [75.1731999380562]
本稿では,実・偽のディープフェイクマルチメディアコンテンツを検出する学習手法を提案する。
我々は,同じビデオから2つのオーディオと視覚の類似性を抽出し,解析する。
我々は,いくつかのSOTAディープフェイク検出手法との比較を行い,DFDCでは84.4%,DF-TIMITデータセットでは96.6%の動画AUCを報告した。
論文 参考訳(メタデータ) (2020-03-14T22:07:26Z) - BBAND Index: A No-Reference Banding Artifact Predictor [55.42929350861115]
バンディングアーティファクト(英: Banding artifact)または偽コントゥーリング(英: false contouring)は、一般的なビデオ圧縮障害である。
本稿では,Blind BANding Detector (BBAND index) と呼ばれる,歪み特異的な非参照ビデオ品質モデルを提案する。
論文 参考訳(メタデータ) (2020-02-27T03:05:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。