論文の概要: DF-MoE: Generalizable Deepfake Detection via Multimodal Sparse Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2608.23363v1
• Date: Mon, 24 Aug 2026 15:13:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.16452
• Title: DF-MoE: Generalizable Deepfake Detection via Multimodal Sparse Mixture-of-Experts
• Title（参考訳）: DF-MoE:マルチモーダルスパース・オブ・エクササイズによる一般化可能なディープフェイク検出
• Abstract要約: 我々は、利用可能なオーディオと視覚のモダリティから複数のハイレベルな手がかりを抽出することで、オーバーフィッティングを軽減できると推測する。 我々は、口の動き、顔のパーシング、表情、頭ポーズ、視線追跡、心拍数、音声感情、音声活動をエンコードする特徴を抽出するために、訓練済みの様々なモデルを組み立てる。
• 参考スコア（独自算出の注目度）: 31.57902783888204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-visual deepfake detection is an actively studied topic, where one of the main challenges is to develop detectors able to generalize across deepfake generation methods. We conjecture that overfitting can be mitigated by extracting multiple high-level cues from the available audio and visual modalities via pre-trained models. We therefore assemble a wide variety of pre-trained models to extract features that encode mouth movements, face parsing, facial expressions, head pose, gaze tracking, heart rate, audio emotion and speech activity. We further integrate both unimodal and multimodal cues via a Mixture-of-Experts (MoE) backbone to detect deepfakes. We perform in-domain and cross-domain experiments on five benchmarks for deepfake detection (MAVOS-DD, AVLips, PolyGlotFake, BioDeepAV, FakeAVCeleb) to compare our framework (DF-MoE) with state-of-the-art methods. Our results indicate that DF-MoE obtains superior deepfake detection results, surpassing all competing methods. We release our code at https://github.com/vladhondru25/DF-MoE.
• Abstract（参考訳）: オーディオ-視覚的ディープフェイク検出は、ディープフェイク生成法をまたいで一般化できる検出器を開発することが主な課題である、活発に研究されているトピックである。 我々は、事前訓練されたモデルを用いて、利用可能なオーディオと視覚のモダリティから複数のハイレベルなキューを抽出することで、オーバーフィッティングを緩和できると推測する。 そこで我々は, 口の動き, 顔の表情, 頭部ポーズ, 視線追跡, 心拍数, 音声感情, 音声活動をエンコードする特徴を抽出するために, 様々な事前学習モデルを構築した。 ディープフェイクを検出するために、Mixture-of-Experts (MoE) のバックボーンを介して、ユニモーダルとマルチモーダルの両方のキューを統合する。 ディープフェイク検出のための5つのベンチマーク(MAVOS-DD, AVLips, PolyGlotFake, BioDeepAV, FakeAVCeleb)のドメイン内およびクロスドメイン実験を行い、このフレームワーク(DF-MoE)と最先端の手法を比較した。 その結果,DF-MoEは競合する全ての手法を超越して優れたディープフェイク検出結果が得られることがわかった。 コードについてはhttps://github.com/vladhondru25/DF-MoE.comで公開しています。

関連論文リスト

• DeepfakeBench-MM: A Comprehensive Benchmark for Multimodal Deepfake Detection [52.13851094326683]
  先進的な生成AIモデルの誤用は、偽化データの拡散をもたらした。 Mega-MMDFはマルチモーダルディープフェイク検出のための大規模で多種多様で高品質なデータセットである。 DeepfakeBench-MMは、マルチモーダルディープフェイク検出のための最初の統一ベンチマークである。
  論文  参考訳（メタデータ） (2025-10-26T10:40:52Z)
• Deepfake Media Generation and Detection in the Generative AI Era: A Survey and Outlook [101.30779332427217]
  本研究は,近年の現場開発を含むディープフェイク発生・検出技術について調査する。 偽コンテンツの変更や生成に使用する手順に従って,様々な種類のディープフェイクを識別する。 我々は,分布外コンテンツに基づくディープフェイク検出のための新しいマルチモーダル・ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-11-29T08:29:25Z)
• DiMoDif: Discourse Modality-information Differentiation for Audio-visual Deepfake Detection and Localization [13.840950434728533]
  DiMoDifはオーディオ・ビジュアル・ディープフェイク検出フレームワークである。 音声の機械知覚におけるモダリティ間差異を利用する。 時間的にディープフェイクの偽造を特定できる。
  論文  参考訳（メタデータ） (2024-11-15T13:47:33Z)
• Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization [3.9440964696313485]
  デジタル時代には、ディープフェイクや合成メディアの出現は、社会的・政治的整合性に対する重大な脅威となる。 オーディオ視覚のようなマルチモーダル操作に基づくディープフェイクは、より現実的であり、より大きな脅威をもたらす。 本稿では,音声・視覚的ディープフェイク検出にコンテキスト情報を活用する,リカレントニューラルネットワーク(RNN)に基づく新しいマルチモーダルアテンションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T18:45:01Z)
• DF40: Toward Next-Generation Deepfake Detection [62.073997142001424]
  既存の研究は、ある特定のデータセットで検出器をトレーニングし、他の一般的なディープフェイクデータセットでテストすることで、トップノーチ検出アルゴリズムとモデルを識別する。 しかし、これらの「勝者」は現実の世界に潜む無数の現実的で多様なディープフェイクに取り組むために真に応用できるのだろうか? 我々は,40の異なるディープフェイク技術からなるDF40という,高度に多様なディープフェイク検出データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-19T12:35:02Z)
• MIS-AVoiDD: Modality Invariant and Specific Representation for Audio-Visual Deepfake Detection [4.659427498118277]
  新しいタイプのディープフェイクが登場し、オーディオまたは視覚的モーダルが操作された。 既存のマルチモーダルディープフェイク検出器は、しばしばビデオからのオーディオとビジュアルストリームの融合に基づいている。 本稿では,マルチモーダルディープフェイク検出のための音声と視覚ストリームの融合を支援するために,表現レベルでの問題に取り組む。
  論文  参考訳（メタデータ） (2023-10-03T17:43:24Z)
• Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
  既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。 未探索の音声-顔のマッチングビューからディープフェイク検出を行う。 我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-03-04T09:08:50Z)
• Self-supervised Transformer for Deepfake Detection [112.81127845409002]
  現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。 転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。 本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-02T17:44:40Z)
• TAR: Generalized Forensic Framework to Detect Deepfakes using Weakly Supervised Learning [17.40885531847159]
  ディープフェイクは重要な社会問題となり、それらを検出することが非常に重要です。 本研究では,異なる種類のディープフェイクを同時に検出する実用的なデジタル鑑識ツールを提案する。 レジデンシャルブロックを用いた自動エンコーダベースの検出モデルを開発し、異なる種類のディープフェイクを同時に検出する転送学習を順次実施します。
  論文  参考訳（メタデータ） (2021-05-13T07:31:08Z)
• M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
  Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。 本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。 最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
  論文  参考訳（メタデータ） (2021-04-20T05:43:44Z)
• Emotions Don't Lie: An Audio-Visual Deepfake Detection Method Using Affective Cues [75.1731999380562]
  本稿では,実・偽のディープフェイクマルチメディアコンテンツを検出する学習手法を提案する。 我々は,同じビデオから2つのオーディオと視覚の類似性を抽出し,解析する。 我々は,いくつかのSOTAディープフェイク検出手法との比較を行い,DFDCでは84.4%,DF-TIMITデータセットでは96.6%の動画AUCを報告した。
  論文  参考訳（メタデータ） (2020-03-14T22:07:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。