論文の概要: Unsupervised Multimodal Deepfake Detection Using Intra- and Cross-Modal Inconsistencies

• arxiv url: http://arxiv.org/abs/2311.17088v1
• Date: Tue, 28 Nov 2023 03:28:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 00:20:39.550814
• Title: Unsupervised Multimodal Deepfake Detection Using Intra- and Cross-Modal Inconsistencies
• Title（参考訳）: 内部および横断的不整合を用いた教師なしマルチモーダルディープフェイク検出
• Authors: Mulin Tian, Mahyar Khayatkhoei, Joe Mathai, Wael AbdAlmageed
• Abstract要約: ディープフェイクビデオは、刑事司法、民主主義、個人の安全とプライバシーに悪影響を及ぼす可能性のある社会への脅威が増えていることを示している。 本稿では,内部および相互の整合性を測定することによって,ディープフェイク映像を非教師的に検出する手法を提案する。 提案手法は広範囲な実験により検証され,ディープフェイクビデオにおける重要な内的および横断的不整合の存在が実証された。
• 参考スコア（独自算出の注目度）: 16.015769274959098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deepfake videos present an increasing threat to society with potentially negative impact on criminal justice, democracy, and personal safety and privacy. Meanwhile, detecting deepfakes, at scale, remains a very challenging tasks that often requires labeled training data from existing deepfake generation methods. Further, even the most accurate supervised learning, deepfake detection methods do not generalize to deepfakes generated using new generation methods. In this paper, we introduce a novel unsupervised approach for detecting deepfake videos by measuring of intra- and cross-modal consistency among multimodal features; specifically visual, audio, and identity features. The fundamental hypothesis behind the proposed detection method is that since deepfake generation attempts to transfer the facial motion of one identity to another, these methods will eventually encounter a trade-off between motion and identity that enviably leads to detectable inconsistencies. We validate our method through extensive experimentation, demonstrating the existence of significant intra- and cross- modal inconsistencies in deepfake videos, which can be effectively utilized to detect them with high accuracy. Our proposed method is scalable because it does not require pristine samples at inference, generalizable because it is trained only on real data, and is explainable since it can pinpoint the exact location of modality inconsistencies which are then verifiable by a human expert.
• Abstract（参考訳）: ディープフェイクビデオは、刑事司法、民主主義、個人の安全とプライバシーに悪影響を及ぼす可能性のある社会への脅威が増えている。 一方で、大規模なディープフェイクの検出は、既存のディープフェイク生成メソッドからのラベル付きトレーニングデータを必要とする、非常に難しいタスクである。 さらに、最も正確な教師付き学習であっても、ディープフェイク検出法は、新しい生成法を用いて生成されたディープフェイクに一般化しない。 本稿では,マルチモーダル機能,特に視覚,音声,アイデンティティ機能間のイントラモーダルおよびクロスモーダル一貫性を測定することにより,ディープフェイク映像を検出するための新しい教師なし手法を提案する。 提案手法の背後にある基本的な仮説は、ディープフェイク生成が顔の動きを別の顔に移そうとするので、これらの手法は最終的に動きとアイデンティティのトレードオフに遭遇し、検出可能な不一致を生じさせることである。 本手法を広範な実験により検証し,ディープフェイク映像における重要なモード間およびモード間不整合の存在を実証し,高精度な検出に効果的に利用できることを示す。 提案手法は, 実データのみを用いてトレーニングされるため, 推定時にプリスタンサンプルを必要としないため, 拡張性があり, 人間の専門家によって検証されるモダリティの不整合の正確な位置を特定できるため, 説明可能である。

関連論文リスト

• Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
  被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。 本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。 我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
  論文  参考訳（メタデータ） (2024-10-10T13:10:34Z)
• Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes [3.6308756891251392]
  生成AIの一種であるリアルタイムディープフェイク(Real-time Deepfake)は、ビデオ内の既存のコンテンツ(例えば、顔を別のものと交換する)を「生成する」ことができる。 金融詐欺や政治的誤報など、悪意ある目的のためにディープフェイクビデオを作るのに誤用されている。 本研究では,物理干渉に適応できないディープフェイクモデルを利用した新しいリアルタイムディープフェイク検出手法であるSFakeを提案する。
  論文  参考訳（メタデータ） (2024-09-17T04:58:30Z)
• CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
  クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。 既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。 顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
  論文  参考訳（メタデータ） (2023-09-30T12:30:25Z)
• How Generalizable are Deepfake Image Detectors? An Empirical Study [4.42204674141385]
  本研究は,ディープフェイク検出器の一般化性に関する最初の実証的研究である。 本研究では,6つのディープフェイクデータセット,5つのディープフェイク画像検出手法,および2つのモデル拡張アプローチを用いた。 検出器は, 合成法に特有の不要な特性を学習し, 識別的特徴の抽出に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T10:30:34Z)
• Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption [94.5031244215761]
  本稿では,実際のビデオにない「規則性破壊」を識別することで,ディープフェイク検出の一般化を促進することを提案する。 具体的には、空間的・時間的特性を慎重に調べることで、擬似フェイク発生器による実映像の破壊を提案する。 このような手法により,フェイクビデオを使わずにディープフェイク検出が可能となり,よりシンプルかつ効率的に一般化能力を向上させることができる。
  論文  参考訳（メタデータ） (2022-07-21T10:42:34Z)
• A Continual Deepfake Detection Benchmark: Dataset, Methods, and Essentials [97.69553832500547]
  本稿では, 既知の生成モデルと未知の生成モデルの両方から, 新たなディープフェイク集合に対する連続的なディープフェイク検出ベンチマーク(CDDB)を提案する。 本研究では,連続的なディープラーニング検出問題に対して,連続的な視覚認識で一般的に使用される多クラス漸進学習手法を適応するために,複数のアプローチを利用する。
  論文  参考訳（メタデータ） (2022-05-11T13:07:19Z)
• Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
  既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。 未探索の音声-顔のマッチングビューからディープフェイク検出を行う。 我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-03-04T09:08:50Z)
• Self-supervised Transformer for Deepfake Detection [112.81127845409002]
  現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。 転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。 本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-02T17:44:40Z)
• Understanding the Security of Deepfake Detection [23.118012417901078]
  本研究では,最先端のディープフェイク検出手法の対向的設定における安全性について検討する。 FaceForensics++やFacebook Deepfake Detection Challengeなど、大規模な公開ディープフェイクデータソースを2つ使用しています。 本研究は, 対戦環境におけるディープフェイク検出手法のセキュリティ上の制約を明らかにした。
  論文  参考訳（メタデータ） (2021-07-05T14:18:21Z)
• TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly Supervised Learning [17.40885531847159]
  ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。 本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。 レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
  論文  参考訳（メタデータ） (2021-05-13T07:31:08Z)
• One Detector to Rule Them All: Towards a General Deepfake Attack Detection Framework [19.762839181838388]
  本稿では,LSTMに基づくResidual Network(CLRNet)を導入し,未知の未確認ディープフェイクに対処する。 我々のCLRNetモデルは、93.86%の精度で高品質なDFWビデオに対してうまく一般化できることを実証した。
  論文  参考訳（メタデータ） (2021-05-01T08:02:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。