論文の概要: Circumventing shortcuts in audio-visual deepfake detection datasets with unsupervised learning

• arxiv url: http://arxiv.org/abs/2412.00175v1
• Date: Fri, 29 Nov 2024 18:58:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:22.514663
• Title: Circumventing shortcuts in audio-visual deepfake detection datasets with unsupervised learning
• Title（参考訳）: 教師なし学習を用いた音声・視覚深度検出データセットにおける近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近
• Authors: Dragos-Alexandru Boldisor, Stefan Smeu, Dan Oneata, Elisabeta Oneata,
• Abstract要約: 私たちは、最も広く使われているオーディオビデオのディープフェイクデータセットの2つが、これまで特定されていなかった突発的な特徴である、主要な沈黙に悩まされていることを示しています。 フェイクビデオは、ごく短い沈黙の瞬間から始まり、この機能だけで、本物と偽のサンプルをほぼ完全に分離することができる。 本研究では,実データのみに基づく学習モデルによる教師なし学習から教師なし学習へのシフトを提案する。
• 参考スコア（独自算出の注目度）: 3.453303606167197
• License:
• Abstract: Good datasets are essential for developing and benchmarking any machine learning system. Their importance is even more extreme for safety critical applications such as deepfake detection - the focus of this paper. Here we reveal that two of the most widely used audio-video deepfake datasets suffer from a previously unidentified spurious feature: the leading silence. Fake videos start with a very brief moment of silence and based on this feature alone, we can separate the real and fake samples almost perfectly. As such, previous audio-only and audio-video models exploit the presence of silence in the fake videos and consequently perform worse when the leading silence is removed. To circumvent latching on such unwanted artifact and possibly other unrevealed ones we propose a shift from supervised to unsupervised learning by training models exclusively on real data. We show that by aligning self-supervised audio-video representations we remove the risk of relying on dataset-specific biases and improve robustness in deepfake detection.
• Abstract（参考訳）: 優れたデータセットは、任意の機械学習システムの開発とベンチマークに不可欠です。 彼らの重要性は、ディープフェイク検出のような安全上の重要なアプリケーションにとってさらに極端である。 ここでは、最も広く使われているオーディオ・ビデオ・ディープフェイク・データセットの2つが、これまで特定されていなかった突発的な特徴、すなわち主要な沈黙に悩まされていることを明らかにする。 フェイクビデオは、ごく短い沈黙の瞬間から始まり、この機能だけで、本物と偽のサンプルをほぼ完全に分離することができる。 このように、従来の音声のみおよびオーディオビデオモデルは、フェイクビデオにおけるサイレントの存在を悪用し、主要なサイレントが削除された場合、さらに悪化する。 このような不要なアーティファクトのラッチを回避するために、実データのみをトレーニングするモデルにより、教師なし学習から教師なし学習への移行を提案する。 自己教師型音声映像表現の整列により、データセット固有のバイアスに依存するリスクを排除し、ディープフェイク検出におけるロバスト性を改善する。

関連論文リスト

• SafeEar: Content Privacy-Preserving Audio Deepfake Detection [17.859275594843965]
  音声コンテンツにアクセスすることなくディープフェイク音声を検知する新しいフレームワークであるSafeEarを提案する。 私たちのキーとなるアイデアは、ニューラルオーディオを、セマンティックおよび音響情報をオーディオサンプルから適切に分離する、新しいデカップリングモデルに組み込むことです。 このようにして、セマンティックな内容が検出器に露出されることはない。
  論文  参考訳（メタデータ） (2024-09-14T02:45:09Z)
• A Multi-Stream Fusion Approach with One-Class Learning for Audio-Visual Deepfake Detection [17.285669984798975]
  本稿では,ロバストな音声・視覚深度検出モデルを開発する上での課題について述べる。 新たな世代のアルゴリズムが絶えず出現しており、検出方法の開発中にこれらのアルゴリズムは遭遇しない。 表現レベルの正規化手法として,一級学習を用いたマルチストリーム融合手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T10:33:15Z)
• AVFF: Audio-Visual Feature Fusion for Video Deepfake Detection [2.985620880452743]
  本稿では,2段階のクロスモーダル学習法であるAVFF(Audio-Visual Feature Fusion)を提案する。 マルチモーダルな表現を抽出するために、コントラスト学習と自動符号化の目的を使い、新しい音声-視覚マスキングと特徴融合戦略を導入する。 我々は、FakeAVCelebデータセットの98.6%の精度と99.1%のAUCを報告し、現在のオーディオ・ビジュアル・オブ・ザ・アートをそれぞれ14.9%、9.9%上回った。
  論文  参考訳（メタデータ） (2024-06-05T05:20:12Z)
• Training-Free Deepfake Voice Recognition by Leveraging Large-Scale Pre-Trained Models [52.04189118767758]
  一般化は、現在のオーディオディープフェイク検出器の主な問題である。 本稿では,オーディオディープフェイク検出のための大規模事前学習モデルの可能性について検討する。
  論文  参考訳（メタデータ） (2024-05-03T15:27:11Z)
• AVTENet: Audio-Visual Transformer-based Ensemble Network Exploiting Multiple Experts for Video Deepfake Detection [53.448283629898214]
  近年の超現実的なディープフェイクビデオの普及は、オーディオと視覚の偽造の脅威に注意を向けている。 AI生成のフェイクビデオの検出に関するこれまでのほとんどの研究は、視覚的モダリティまたはオーディオ的モダリティのみを使用していた。 音響操作と視覚操作の両方を考慮したAVTENet(Audio-Visual Transformer-based Ensemble Network)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-19T19:01:26Z)
• SceneFake: An Initial Dataset and Benchmarks for Scene Fake Audio Detection [54.74467470358476]
  本稿では,シーンフェイク音声検出のためのデータセットSceneFakeを提案する。 操作されたオーディオは、オリジナルオーディオの音響シーンを改ざんするだけで生成される。 本論文では,SceneFakeデータセット上での擬似音声検出ベンチマーク結果について報告する。
  論文  参考訳（メタデータ） (2022-11-11T09:05:50Z)
• Audio Deepfake Attribution: An Initial Dataset and Investigation [41.62487394875349]
  我々は、Audio Deepfake Attribution (ADA)と呼ばれるオーディオ生成ツールの属性に対する最初のディープフェイクオーディオデータセットを設計する。 オープンセットオーディオディープフェイク属性(OSADA)のためのクラス・マルチセンター学習(CRML)手法を提案する。 実験の結果,CRML法は実世界のシナリオにおけるオープンセットリスクに効果的に対処できることが示された。
  論文  参考訳（メタデータ） (2022-08-21T05:15:40Z)
• Audio-Visual Person-of-Interest DeepFake Detection [77.04789677645682]
  本研究の目的は、現実世界で遭遇する様々な操作方法やシナリオに対処できるディープフェイク検出器を提案することである。 我々は、対照的な学習パラダイムを活用して、各アイデンティティに対して最も識別しやすい、移動面と音声セグメントの埋め込みを学習する。 本手法は,シングルモダリティ(オーディオのみ,ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方を検出でき,低品質・低画質ビデオに対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-06T20:51:40Z)
• Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
  既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。 未探索の音声-顔のマッチングビューからディープフェイク検出を行う。 我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-03-04T09:08:50Z)
• Automatic Curation of Large-Scale Datasets for Audio-Visual Representation Learning [62.47593143542552]
  本稿では,自動データセットキュレーションのためのサブセット最適化手法について述べる。 本研究では,高視聴覚対応の映像を抽出し,自己監視モデルが自動的に構築されているにもかかわらず,既存のスケールのビデオデータセットと類似したダウンストリームパフォーマンスを達成できることを実証した。
  論文  参考訳（メタデータ） (2021-01-26T14:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。