論文の概要: Unsupervised Multimodal Deepfake Detection Using Intra- and Cross-Modal Inconsistencies
- arxiv url: http://arxiv.org/abs/2311.17088v2
- Date: Thu, 20 Jun 2024 20:24:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 20:08:09.384756
- Title: Unsupervised Multimodal Deepfake Detection Using Intra- and Cross-Modal Inconsistencies
- Title（参考訳）: 内部および横断的不整合を用いた教師なしマルチモーダルディープフェイク検出
- Authors: Mulin Tian, Mahyar Khayatkhoei, Joe Mathai, Wael AbdAlmageed,
- Abstract要約: ディープフェイクビデオは、刑事司法、民主主義、個人の安全とプライバシーに悪影響を及ぼす可能性のある社会への脅威が増えていることを示している。
本稿では,ビデオセグメント間のモーダル内およびモーダル間不整合を直接同定することで,ディープフェイク動画を検出する新しい教師なし手法を提案する。
提案手法は,FakeAVCelebデータセットを用いた非教師なしディープフェイク検出手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 14.660707087391463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deepfake videos present an increasing threat to society with potentially negative impact on criminal justice, democracy, and personal safety and privacy. Meanwhile, detecting deepfakes, at scale, remains a very challenging task that often requires labeled training data from existing deepfake generation methods. Further, even the most accurate supervised deepfake detection methods do not generalize to deepfakes generated using new generation methods. In this paper, we propose a novel unsupervised method for detecting deepfake videos by directly identifying intra-modal and cross-modal inconsistency between video segments. The fundamental hypothesis behind the proposed detection method is that motion or identity inconsistencies are inevitable in deepfake videos. We will mathematically and empirically support this hypothesis, and then proceed to constructing our method grounded in our theoretical analysis. Our proposed method outperforms prior state-of-the-art unsupervised deepfake detection methods on the challenging FakeAVCeleb dataset, and also has several additional advantages: it is scalable because it does not require pristine (real) samples for each identity during inference and therefore can apply to arbitrarily many identities, generalizable because it is trained only on real videos and therefore does not rely on a particular deepfake method, reliable because it does not rely on any likelihood estimation in high dimensions, and explainable because it can pinpoint the exact location of modality inconsistencies which are then verifiable by a human expert.
- Abstract（参考訳）: ディープフェイクビデオは、刑事司法、民主主義、個人の安全とプライバシーに悪影響を及ぼす可能性のある社会への脅威が増えていることを示している。
一方、ディープフェイクを大規模に検出することは、既存のディープフェイク生成方法からのラベル付きトレーニングデータを必要とすることが多い、非常に困難な作業である。
さらに、最も正確な教師付きディープフェイク検出方法でさえ、新しい生成方法を用いて生成されたディープフェイクには一般化しない。
本稿では,ビデオセグメント間のモーダル内およびモーダル間不整合を直接同定することにより,ディープフェイクビデオを検出する新しい教師なし手法を提案する。
提案手法の背後にある基本的な仮説は、ディープフェイクビデオでは動きやアイデンティティの不整合は避けられないというものである。
我々はこの仮説を数学的かつ経験的に支持し、理論解析に基づく手法の構築を進める。
提案手法は,従来の非教師付きディープフェイク検出手法を,挑戦的なFakeAVCelebデータセットよりも優れており,また,推論中に各アイデンティティに対してプリスタン(実)サンプルを必要とせず,また実ビデオのみにトレーニングされているため,特定のディープフェイク手法に頼らないため,任意の多数のアイデンティティに適用可能であり,高い次元での推測に頼らず,かつ,人間の専門家によって検証可能なモダリティ不整合の正確な位置を特定できるため,信頼性の高いディープフェイク検出手法である。
関連論文リスト
- Deepfake Media Generation and Detection in the Generative AI Era: A Survey and Outlook [101.30779332427217]
本研究は,近年の現場開発を含むディープフェイク発生・検出技術について調査する。
偽コンテンツの変更や生成に使用する手順に従って,様々な種類のディープフェイクを識別する。
我々は,分布外コンテンツに基づくディープフェイク検出のための新しいマルチモーダル・ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-11-29T08:29:25Z) - Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。
本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。
我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
論文 参考訳（メタデータ） (2024-10-10T13:10:34Z) - Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes [3.6308756891251392]
生成AIの一種であるリアルタイムディープフェイク(Real-time Deepfake)は、ビデオ内の既存のコンテンツ(例えば、顔を別のものと交換する)を「生成する」ことができる。
金融詐欺や政治的誤報など、悪意ある目的のためにディープフェイクビデオを作るのに誤用されている。
本研究では,物理干渉に適応できないディープフェイクモデルを利用した新しいリアルタイムディープフェイク検出手法であるSFakeを提案する。
論文 参考訳（メタデータ） (2024-09-17T04:58:30Z) - CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。
既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。
顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
論文 参考訳（メタデータ） (2023-09-30T12:30:25Z) - How Generalizable are Deepfake Image Detectors? An Empirical Study [4.42204674141385]
本研究は,ディープフェイク検出器の一般化性に関する最初の実証的研究である。
本研究では,6つのディープフェイクデータセット,5つのディープフェイク画像検出手法,および2つのモデル拡張アプローチを用いた。
検出器は, 合成法に特有の不要な特性を学習し, 識別的特徴の抽出に苦慮していることがわかった。
論文 参考訳（メタデータ） (2023-08-08T10:30:34Z) - Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption [94.5031244215761]
本稿では,実際のビデオにない「規則性破壊」を識別することで,ディープフェイク検出の一般化を促進することを提案する。
具体的には、空間的・時間的特性を慎重に調べることで、擬似フェイク発生器による実映像の破壊を提案する。
このような手法により,フェイクビデオを使わずにディープフェイク検出が可能となり,よりシンプルかつ効率的に一般化能力を向上させることができる。
論文 参考訳（メタデータ） (2022-07-21T10:42:34Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳（メタデータ） (2022-03-04T09:08:50Z) - Self-supervised Transformer for Deepfake Detection [112.81127845409002]
現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。
転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。
本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-02T17:44:40Z) - Understanding the Security of Deepfake Detection [23.118012417901078]
本研究では,最先端のディープフェイク検出手法の対向的設定における安全性について検討する。
FaceForensics++やFacebook Deepfake Detection Challengeなど、大規模な公開ディープフェイクデータソースを2つ使用しています。
本研究は, 対戦環境におけるディープフェイク検出手法のセキュリティ上の制約を明らかにした。
論文 参考訳（メタデータ） (2021-07-05T14:18:21Z) - TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly
Supervised Learning [17.40885531847159]
ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。
本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。
レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
論文 参考訳（メタデータ） (2021-05-13T07:31:08Z) - One Detector to Rule Them All: Towards a General Deepfake Attack
Detection Framework [19.762839181838388]
本稿では,LSTMに基づくResidual Network(CLRNet)を導入し,未知の未確認ディープフェイクに対処する。
我々のCLRNetモデルは、93.86%の精度で高品質なDFWビデオに対してうまく一般化できることを実証した。
論文 参考訳（メタデータ） (2021-05-01T08:02:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。