論文の概要: From Spectrograms to Shallow Speech SSL: Audio-Frontend Design for Generator-Disjoint and Low-Latency Audio--Visual Deepfake Detection

• arxiv url: http://arxiv.org/abs/2610.24138v1
• Date: Fri, 16 Oct 2026 19:07:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 10:45:15.904838
• Title: From Spectrograms to Shallow Speech SSL: Audio-Frontend Design for Generator-Disjoint and Low-Latency Audio--Visual Deepfake Detection
• Title（参考訳）: スペクトログラムから浅音声SSLへ:発電機と低レイテンシのオーディオ-ビジュアルディープフェイク検出のためのオーディオ-Frontend設計
• Abstract要約: ビデオによる会話システムは、音声と顔のビデオの同期に依存しており、音声と視覚の入力の整合性は信頼性の高い知覚に重要である。 AV-HuBERTビジュアル処理とMSCTエンコーダを用いたMRDFパイプラインのオーディオフロントエンド設計について検討した。 我々は,2重SSL融合,実行深度,浅層凝集といった分光器式ログフィルタバンク機能と,凍結したwav2vec2.0およびWavLM表現との比較を行った。
• 参考スコア（独自算出の注目度）: 15.299800165074458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video-mediated conversational systems rely on synchronized speech and facial video, making audio--visual input integrity important for reliable perception. We study audio-frontend design in a fixed MRDF (Modality-Regularization-based DeepFake)-based pipeline with AV-HuBERT visual processing and an MSCT (multi-scale cross-modal transformer) fusion encoder. We compare spectrogram-style log-filterbank features with frozen wav2vec~2.0 and WavLM representations, dual-SSL fusion, executed depth, and shallow-layer aggregation. Across three training runs, full wav2vec~2.0 improves mean macro AUROC from $84.19\%$ to $87.19\%$ on generator-disjoint MMDF. Six-layer execution further improves detection, and learned non-uniform aggregation adds $2.53$ percentage points, reaching $90.61\%$. Shallow execution reduces measured inference latency relative to full-depth wav2vec~2.0 across the tested input durations; first-second evaluation reaches $86.85\%$ macro AUROC. In a single-run comparison, dual-SSL concatenation outperforms either single stream, while one-way cross-attention yields lower detection performance and higher latency than concatenation. Layer-weight analysis shows greater emphasis on early speech layers, while removing the selector's visual input has little effect on detection performance.
• Abstract（参考訳）: ビデオによる会話システムは、音声と顔のビデオの同期に頼っており、音声と視覚の入力の整合性は信頼性の高い知覚に重要である。 AV-HuBERTビジュアル処理とMSCT融合エンコーダを用いたMRDF(Modality-Regularization-based DeepFake)パイプラインのオーディオフロントエンド設計について検討した。 我々は,2重SSL融合,実行深度,浅層凝集といった分光器式ログフィルタバンク機能と,凍結したwav2vec~2.0とWavLM表現との比較を行った。 3回のトレーニングで、完全なwav2vec~2.0は平均マクロAUROCを84.19.%から87.19.%に改善した。 6層実行は検出をさらに改善し、学習された非一様アグリゲーションは2.53ドルの割合で90.61セントに達する。 シャロー実行は、テストされた入力期間にわたって、全深度wav2vec~2.0に対して測定された推論遅延を低減し、第1秒の評価は、マクロAUROCの86.85\%に達する。 シングルラン比較では、デュアルSSL結合はシングルストリームよりも優れ、一方方向のクロスアテンションは、結合よりも低い検出性能とレイテンシをもたらす。 層重み解析は、初期音声層に重きを置いている一方、セレクタの視覚入力を除去することは、検出性能にはほとんど影響しない。

関連論文リスト

• SENTRY: A Streaming Edge Network Trust Engine for Real-Time Audio Deepfake Detection [0.822469542459168]
  本稿では,ネットワークエッジにおけるインラインディープフェイク検出のためのハードウェア指向ストリーミングトラストエンジンであるSENTRYを提案する。 教師付き勾配ブースト木分類器と教師なしマハラノビス分布検出器を組み合わす。 クローズドセットプロトコルの下では、SENTRYはWaveFake上で98.75%の精度を1.25%の等エラーレート(EER)で達成し、HiFi-GANとWaveGlowを完全分離する。 ASVspoof 2019 LA(A01-A06を攻撃)では、8kHzのミューロー・テレフォニー・チャンネルが攻撃された。
  論文  参考訳（メタデータ） (2026-10-17T05:22:59Z)
• TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
  音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。 音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。 3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
  論文  参考訳（メタデータ） (2026-06-07T07:15:34Z)
• Towards Robust Overlapping Speech Detection: A Speaker-Aware Progressive Approach Using WavLM [53.17360668423001]
  重なり合う音声検出(OSD)は、会話中に複数の話者が重複する領域を特定することを目的としている。 本研究では,サブタスク間の相関性を高めるために,プログレッシブトレーニング戦略を活用する話者対応プログレッシブOSDモデルを提案する。 実験の結果,提案手法は,AMIテストセット上でF1スコアが82.76%の最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2025-05-29T07:47:48Z)
• Magnitude-Phase Dual-Path Speech Enhancement Network based on Self-Supervised Embedding and Perceptual Contrast Stretch Boosting [6.15602203132432]
  BSP-MPNetは、音声強調のための自己教師付き特徴と等級情報を組み合わせたデュアルパスフレームワークである。 我々はVoiceBank+DEMANDとWHAMR!データセット上でBSP-MPNetを評価する。
  論文  参考訳（メタデータ） (2025-03-27T14:52:06Z)
• Qifusion-Net: Layer-adapted Stream/Non-stream Model for End-to-End Multi-Accent Speech Recognition [1.0690007351232649]
  本稿では,ターゲットアクセントに関する事前知識を必要としないQifusion-Netと呼ばれる層適応核融合モデルを提案する。 実験の結果,提案手法は,複数のアクセントテストデータセットに対して,22.1$%と17.2$%の文字誤り率(CER)を相対的に低減し,ベースラインを上回った。
  論文  参考訳（メタデータ） (2024-07-03T11:35:52Z)
• Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching [51.70360630470263]
  Video-to-audio (V2A) は、サイレントビデオからコンテンツマッチング音声を合成することを目的としている。 本稿では,修正フローマッチングに基づくV2AモデルであるFrierenを提案する。 実験により、フリーレンは世代品質と時間的アライメントの両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-06-01T06:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。