論文の概要: Gotcha: A Challenge-Response System for Real-Time Deepfake Detection
- arxiv url: http://arxiv.org/abs/2210.06186v1
- Date: Wed, 12 Oct 2022 13:15:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 13:27:59.340517
- Title: Gotcha: A Challenge-Response System for Real-Time Deepfake Detection
- Title(参考訳): Gotcha:リアルタイムディープフェイク検出のためのチャレンジ応答システム
- Authors: Govind Mittal, Jiraphon Yenphraphai, Chinmay Hegde, Nasir Memon
- Abstract要約: Gotchaはライブビデオインタラクションのためのリアルタイムディープフェイク検出システムである。
本稿では,課題の集合の分類を提示し,課題間の自然な階層を明らかにした。
提案システムは,ディープフェイクをエミュレートした新たなライブユーザデータセット上で評価し,本システムは,ディープフェイク品質の一貫性と測定可能な劣化を提供することを示す。
- 参考スコア(独自算出の注目度): 22.839915283019078
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The integrity of online video interactions is threatened by the widespread
rise of AI-enabled high-quality deepfakes that are now deployable in real-time.
This paper presents Gotcha, a real-time deepfake detection system for live
video interactions. The core principle underlying Gotcha is the presentation of
a specially chosen cascade of both active and passive challenges to video
conference participants. Active challenges include inducing changes in face
occlusion, face expression, view angle, and ambiance; passive challenges
include digital manipulation of the webcam feed. The challenges are designed to
target vulnerabilities in the structure of modern deepfake generators and
create perceptible artifacts for the human eye while inducing robust signals
for ML-based automatic deepfake detectors. We present a comprehensive taxonomy
of a large set of challenge tasks, which reveals a natural hierarchy among
different challenges. Our system leverages this hierarchy by cascading
progressively more demanding challenges to a suspected deepfake. We evaluate
our system on a novel dataset of live users emulating deepfakes and show that
our system provides consistent, measurable degradation of deepfake quality,
showcasing its promise for robust real-time deepfake detection when deployed in
the wild.
- Abstract(参考訳): オンラインビデオインタラクションの整合性は、現在リアルタイムにデプロイ可能なAI対応の高品質なディープフェイクの普及によって脅かされている。
本稿では,ライブビデオ対話のためのリアルタイムディープフェイク検出システムであるgotchaを提案する。
Gotchaの中核となる原則は、ビデオ会議参加者に対して、アクティブとパッシブの両方の課題を特別に選択したカスケードのプレゼンテーションである。
アクティブな課題には、顔の隠蔽、表情、視野角、環境の変化の誘発、ウェブカメラフィードのデジタル操作などが含まれる。
この課題は、現代のディープフェイクジェネレータの構造における脆弱性を標的にし、MLベースの自動ディープフェイク検出器のための堅牢なシグナルを誘導しながら、人間の目に知覚可能なアーティファクトを作成するように設計されている。
本稿では,様々な課題の中で自然な階層構造を明らかにする課題タスクの包括的分類法を提案する。
当社のシステムは,この階層を,疑わしいディープフェイクに対して,段階的に要求の厳しい課題をカスケードすることで活用する。
本システムでは,ディープフェイクをエミュレートするライブユーザの新たなデータセット上で評価を行い,本システムによるディープフェイク品質の一貫性,測定可能な劣化性を示し,ワイルドにデプロイした場合のリアルタイムディープフェイク検出への期待を示す。
関連論文リスト
- DF40: Toward Next-Generation Deepfake Detection [62.073997142001424]
既存の作業では、ある特定のデータセット(例えばFF++)上で検出器をトレーニングし、他の一般的なディープフェイクデータセットでそれらをテストすることで、トップノッチ検出アルゴリズムとモデルを識別する。
しかし、これらの「勝者」は現実の世界に潜む無数の現実的で多様なディープフェイクに取り組むために真に応用できるのだろうか?
我々は,40種類の異なるディープフェイク技術からなるDF40という,高度に多様な大規模ディープフェイクデータセットを構築した。
次に,4つの標準評価プロトコルと7つの代表検出器を用いて総合評価を行い,2000以上の評価を行った。
論文 参考訳(メタデータ) (2024-06-19T12:35:02Z) - XAI-Based Detection of Adversarial Attacks on Deepfake Detectors [0.0]
我々は,XAIを用いたディープフェイク検出器に対する敵攻撃を識別するための新しい手法を提案する。
本手法は, ディープフェイクの検出だけでなく, 敵攻撃の可能性に対する理解の向上にも寄与する。
論文 参考訳(メタデータ) (2024-03-05T13:25:30Z) - AI-assisted Tagging of Deepfake Audio Calls using Challenge-Response [14.604998731837595]
Scammersは、AI音声閉鎖技術を社会工学の攻撃に積極的に活用している。
リアルタイムディープフェイク(RTDF)は、電話でターゲットの声をリアルタイムでクローンすることができる。
本稿では,ディープフェイク音声通話を検出するための頑健なチャレンジ応答方式を提案する。
論文 参考訳(メタデータ) (2024-02-28T06:17:55Z) - NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake
Detection [50.33525966541906]
既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。
NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。
我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
論文 参考訳(メタデータ) (2023-06-12T06:06:05Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳(メタデータ) (2022-03-04T09:08:50Z) - Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。
本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。
種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
論文 参考訳(メタデータ) (2021-05-29T21:22:24Z) - Adversarially robust deepfake media detection using fused convolutional
neural network predictions [79.00202519223662]
現在のディープフェイク検出システムは、目に見えないデータと戦っている。
ビデオから抽出した偽画像と実画像の分類には,CNN(Deep Convolutional Neural Network)モデルが3種類採用されている。
提案手法は96.5%の精度で最先端のモデルより優れている。
論文 参考訳(メタデータ) (2021-02-11T11:28:00Z) - WildDeepfake: A Challenging Real-World Dataset for Deepfake Detection [82.42495493102805]
我々は,インターネットから完全に収集された707のディープフェイクビデオから抽出された7,314の顔シーケンスからなる新しいデータセットWildDeepfakeを紹介した。
既存のWildDeepfakeデータセットと我々のWildDeepfakeデータセットのベースライン検出ネットワークを体系的に評価し、WildDeepfakeが実際により困難なデータセットであることを示す。
論文 参考訳(メタデータ) (2021-01-05T11:10:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。