論文の概要: Leveraging Mixture of Experts for Improved Speech Deepfake Detection

• arxiv url: http://arxiv.org/abs/2409.16077v1
• Date: Tue, 24 Sep 2024 13:24:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 05:46:35.943119
• Title: Leveraging Mixture of Experts for Improved Speech Deepfake Detection
• Title（参考訳）: 音声ディープフェイク検出におけるエキスパートの活用
• Authors: Viola Negroni, Davide Salvi, Alessandro Ilic Mezza, Paolo Bestagini, Stefano Tubaro,
• Abstract要約: スピーチのディープフェイクは、個人のセキュリティとコンテンツの信頼性に重大な脅威をもたらす。 本研究では,Mixture of Expertsアーキテクチャを用いた音声深度検出性能の向上のための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 53.69740463004446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech deepfakes pose a significant threat to personal security and content authenticity. Several detectors have been proposed in the literature, and one of the primary challenges these systems have to face is the generalization over unseen data to identify fake signals across a wide range of datasets. In this paper, we introduce a novel approach for enhancing speech deepfake detection performance using a Mixture of Experts architecture. The Mixture of Experts framework is well-suited for the speech deepfake detection task due to its ability to specialize in different input types and handle data variability efficiently. This approach offers superior generalization and adaptability to unseen data compared to traditional single models or ensemble methods. Additionally, its modular structure supports scalable updates, making it more flexible in managing the evolving complexity of deepfake techniques while maintaining high detection accuracy. We propose an efficient, lightweight gating mechanism to dynamically assign expert weights for each input, optimizing detection performance. Experimental results across multiple datasets demonstrate the effectiveness and potential of our proposed approach.
• Abstract（参考訳）: スピーチのディープフェイクは、個人のセキュリティとコンテンツの信頼性に重大な脅威をもたらす。 この文献ではいくつかの検出器が提案されており、これらのシステムが直面する主な課題の1つは、さまざまなデータセットにまたがる偽の信号を特定するために、目に見えないデータの一般化である。 本稿では,Mixture of Expertsアーキテクチャを用いた音声深度検出性能の向上のための新しい手法を提案する。 Mixture of Expertsフレームワークは、異なる入力タイプを専門化し、データのばらつきを効率的に処理できるため、音声のディープフェイク検出タスクに適している。 このアプローチは、従来の単一モデルやアンサンブル手法と比較して、目に見えないデータに対して、より優れた一般化と適応性を提供する。 さらに、モジュール構造はスケーラブルな更新をサポートし、高い検出精度を維持しながら、ディープフェイクテクニックの進化する複雑さの管理をより柔軟にする。 本稿では,各入力に対する専門家の重み付けを動的に割り当て,検出性能を最適化する,効率的で軽量なゲーティング機構を提案する。 複数のデータセットにまたがる実験結果から,提案手法の有効性と可能性を示す。

関連論文リスト

• Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach [77.65459419417533]
  本稿ではセマンティクス指向のDeepFake検出タスクをサポートするための自動データセット拡張手法を提案する。 また,顔画像とそれに対応するラベルを併用して予測を行う。 提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
  論文  参考訳（メタデータ） (2024-08-29T07:11:50Z)
• Targeted Augmented Data for Audio Deepfake Detection [11.671275975119089]
  そこで本研究では,モデルの決定境界をターゲットとした音声疑似フェイク生成手法を提案する。 敵の攻撃に触発されて、元の実際のデータを摂動させ、不明瞭な予測確率で擬似フェイクを合成する。
  論文  参考訳（メタデータ） (2024-07-10T12:31:53Z)
• Straight Through Gumbel Softmax Estimator based Bimodal Neural Architecture Search for Audio-Visual Deepfake Detection [6.367999777464464]
  マルチモーダルディープフェイク検出器は 従来の融合法に依存している 多数決ルールや アンサンブル投票など 本稿では,マルチモーダル融合モデルアーキテクチャを検索するための包括的アプローチを提供する,Straight-through Gumbel-Softmaxフレームワークを提案する。 FakeAVCelebとSWAN-DFデータセットの実験では、最小のモデルパラメータでAUCの94.4%が達成された。
  論文  参考訳（メタデータ） (2024-06-19T09:26:22Z)
• Training-Free Deepfake Voice Recognition by Leveraging Large-Scale Pre-Trained Models [52.04189118767758]
  一般化は、現在のオーディオディープフェイク検出器の主な問題である。 本稿では,オーディオディープフェイク検出のための大規模事前学習モデルの可能性について検討する。
  論文  参考訳（メタデータ） (2024-05-03T15:27:11Z)
• CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
  クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。 既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。 顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
  論文  参考訳（メタデータ） (2023-09-30T12:30:25Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Self-Supervised Graph Transformer for Deepfake Detection [1.8133635752982105]
  ディープフェイク検出手法は、与えられたデータセット内の偽造を認識できる有望な結果を示している。 ディープフェイク検出システムは、一般的な検出性能を保証するために、偽造タイプ、外観、品質に欠かせないままでいなければならない。 本研究では、自己教師付き事前学習モデルを利用して、例外的な一般化能力を実現するディープフェイク検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-27T17:22:41Z)
• Learning Pairwise Interaction for Generalizable DeepFake Detection [20.723277551489186]
  DeepFake生成技術の開発は、既知のタイプのDeepFake向けに設計された検出スキームに挑戦している。 我々は,異なる色空間表現からペアワイズ学習と補完情報を利用する,MCX-API(Multi-Channel Xception Attention Pairwise Interaction)を提案する。 実験の結果,提案手法は最先端のDeepfakes検出器よりも一般化可能であることがわかった。
  論文  参考訳（メタデータ） (2023-02-26T10:39:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。