論文の概要: Explaining Deepfake Detection by Analysing Image Matching
- arxiv url: http://arxiv.org/abs/2207.09679v1
- Date: Wed, 20 Jul 2022 06:23:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-21 13:29:14.773364
- Title: Explaining Deepfake Detection by Analysing Image Matching
- Title（参考訳）: 画像マッチング解析によるディープフェイク検出の説明
- Authors: Shichao Dong, Jin Wang, Jiajun Liang, Haoqiang Fan and Renhe Ji
- Abstract要約: 本稿では,2値ラベルで教師されるだけで,ディープフェイク検出モデルが画像のアーティファクト特徴をどのように学習するかを解釈することを目的とする。
ディープフェイク検出モデルは、FST-Matchingを通じて人工物に関連する視覚概念を暗黙的に学習する。
本稿では,圧縮ビデオにおける偽造検出性能を高めるためのFSTマッチングディープフェイク検出モデルを提案する。
- 参考スコア（独自算出の注目度）: 13.251308261180805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper aims to interpret how deepfake detection models learn artifact
features of images when just supervised by binary labels. To this end, three
hypotheses from the perspective of image matching are proposed as follows. 1.
Deepfake detection models indicate real/fake images based on visual concepts
that are neither source-relevant nor target-relevant, that is, considering such
visual concepts as artifact-relevant. 2. Besides the supervision of binary
labels, deepfake detection models implicitly learn artifact-relevant visual
concepts through the FST-Matching (i.e. the matching fake, source, target
images) in the training set. 3. Implicitly learned artifact visual concepts
through the FST-Matching in the raw training set are vulnerable to video
compression. In experiments, the above hypotheses are verified among various
DNNs. Furthermore, based on this understanding, we propose the FST-Matching
Deepfake Detection Model to boost the performance of forgery detection on
compressed videos. Experiment results show that our method achieves great
performance, especially on highly-compressed (e.g. c40) videos.
- Abstract（参考訳）: 本稿では,deepfake検出モデルがバイナリラベルに監督された画像のアーティファクト特徴をどのように学習するかを解釈することを目的としている。
この目的のために,画像マッチングの観点からの3つの仮説を提案する。
1. ディープフェイク検出モデルでは, ソース関連やターゲット関連ではなく, アーティファクト関連のような視覚的概念を考慮し, 視覚的概念に基づく実像・実像を示す。
2 バイナリラベルの監督に加えて、深度検出モデルは、トレーニングセット内のFST-Matching(一致したフェイク、ソース、ターゲット画像)を通して、人工物に関連する視覚概念を暗黙的に学習する。
3) 生のトレーニングセットにおけるFST-Matchingを通して学習した人工物の概念はビデオ圧縮に弱い。
実験では、これらの仮説は様々なDNNで検証されている。
さらに、この理解に基づき、圧縮ビデオにおける偽検出性能を高めるために、FSTマッチングディープフェイク検出モデルを提案する。
実験の結果,特に高圧縮ビデオ(c40ビデオなど)では,優れた性能が得られることがわかった。
関連論文リスト
- UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳（メタデータ） (2024-07-26T20:51:54Z) - FSBI: Deepfakes Detection with Frequency Enhanced Self-Blended Images [17.707379977847026]
本稿では、ディープフェイク検出のための周波数強調自己ブレンド画像手法を提案する。
提案手法はFF++とCeleb-DFデータセットで評価されている。
論文 参考訳（メタデータ） (2024-06-12T20:15:00Z) - AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image Detectors [24.78672820633581]
深層生成モデルは、偽情報や著作権侵害に対する懸念を高めながら、驚くほど偽のイメージを作成することができる。
実画像と偽画像とを区別するためにディープフェイク検出技術が開発された。
本稿では,視覚言語モデルとアクシデントチューニング技術を用いて,Antifake Promptと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-10-26T14:23:45Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。
本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
論文 参考訳（メタデータ） (2023-03-03T18:59:47Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳（メタデータ） (2022-03-04T09:08:50Z) - Video Transformer for Deepfake Detection with Incremental Learning [11.586926513803077]
ディープフェイクによる顔の偽造はインターネットに広く浸透しており、これが深刻な社会的懸念を引き起こす。
本稿では,ディープフェイクビデオを検出するためのインクリメンタル学習を備えた新しいビデオトランスフォーマーを提案する。
論文 参考訳（メタデータ） (2021-08-11T16:22:56Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳（メタデータ） (2021-04-20T05:43:44Z) - Identifying Invariant Texture Violation for Robust Deepfake Detection [17.306386179823576]
Invariant Texture Learning frameworkは,低画質で公開されたデータセットにのみアクセスすることができる。
本手法は, 被写体から転写したテクスチャによって, 被写体表面の微視的顔のテクスチャが必然的に侵害されることを前提とした。
論文 参考訳（メタデータ） (2020-12-19T03:02:15Z) - BBAND Index: A No-Reference Banding Artifact Predictor [55.42929350861115]
バンディングアーティファクト(英: Banding artifact)または偽コントゥーリング(英: false contouring)は、一般的なビデオ圧縮障害である。
本稿では,Blind BANding Detector (BBAND index) と呼ばれる,歪み特異的な非参照ビデオ品質モデルを提案する。
論文 参考訳（メタデータ） (2020-02-27T03:05:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。