論文の概要: Shared-Private Cross-Modal Discrepancy Learning for Imbalanced Multi-Source Audio-Visual Deepfake Detection

• arxiv url: http://arxiv.org/abs/2610.25301v1
• Date: Sun, 18 Oct 2026 14:34:38 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:29:36.747452
• Title: Shared-Private Cross-Modal Discrepancy Learning for Imbalanced Multi-Source Audio-Visual Deepfake Detection
• Title（参考訳）: マルチソース・オーディオ・ビジュアル・ディープフェイク検出のための共有学習型クロスモーダル離散性学習
• Abstract要約: 本研究では,FakeAVCeleb と LAV-DF を用いたマルチソースオーディオ・ビジュアルディープフェイク検出について検討した。 我々は,MultiScale Cross-Modal Transformer (MSCT) 上に構築し,事前MSCT共有化機能融合を提案する。
• 参考スコア（独自算出の注目度）: 15.763085423504586
• License:
• Abstract: Audio-visual deepfake detectors are often trained under a single dataset or manipulation regime, but multi-source training collections may contain heterogeneous attacks and uneven source distributions. Training separate detectors for each source is inefficient, while a single shared detector may be biased toward dominant source-specific patterns. We study known-source imbalanced multi-source audio-visual deepfake detection using FakeAVCeleb and LAV-DF, where source identity is supplied during training and inference. To address this setting, we build on the Multi-Scale Cross-Modal Transformer Encoder (MSCT) and propose Pre-MSCT Shared-Private Feature Fusion. Our method routes \texttt{[CLS]}-augmented audio and visual tokens into a shared stream and source-specific private streams before the first MSCT block, while retaining its internal multi-scale self-attention (MSSA), differential cross-modal attention (DCA), and feed-forward operations. The shared stream models cross-source reusable evidence, while the private streams retain source-dependent residual variations. A domain-aware gated residual fusion module injects selected private evidence into the shared representation for the main fused prediction. Experiments under two controlled source-composition protocols show improved macro and worst-source AUC compared with the MRDF and MSCT baselines. These results support shared-private cross-modal discrepancy learning in the evaluated two-source setting with known source identity.
• Abstract（参考訳）: オーディオ・ビジュアル・ディープフェイク検出器は単一のデータセットや操作体制の下で訓練されることが多いが、マルチソース・トレーニング・コレクションには異種攻撃や不均一なソース分布が含まれることがある。 それぞれのソースに対する別々の検出器の訓練は非効率であり、単一の共有検出器は支配的なソース固有のパターンに偏っている可能性がある。 本研究では,FakeAVCeleb と LAV-DF を用いて,トレーニングおよび推論中に音源識別を行う,未知の音源不均衡型マルチソース音声-視覚深度検出について検討した。 この設定に対処するため,マルチスケールクロスモーダルトランスフォーマーエンコーダ(MSCT)をベースとして,MSCTの共有化機能融合(Shared-Private Feature Fusion)を提案する。 提案手法では, 内部マルチスケール自己注意 (MSSA) , ディファレンシャル・クロスモーダル・アテンション (DCA) , フィードフォワード操作を継続しながら, 音声および視覚トークンを共有ストリームとソース固有のプライベートストリームにルーティングする。 共有ストリームはソース間の再利用可能な証拠をモデル化するが、プライベートストリームはソース依存の残差を保持できる。 ドメイン対応ゲート残差融合モジュールは、選択されたプライベートエビデンスをメインフューズド予測の共有表現に注入する。 2つの制御されたソースコンポジションプロトコルによる実験では、MRDFおよびMSCTベースラインと比較して、マクロおよび最悪のソースAUCが改善された。 これらの結果は、評価済みの2ソース設定において、共有プライベートなクロスモーダルな不一致学習を支援する。

関連論文リスト

• Hub-Spectral Activation of Latent Multimodal Knowledge [48.72626098917089]
  Hub-Spectral Activation (HSA) は、凍結表現における潜在マルチモーダル知識のハブ可読成分の回復と活性化のための閉形式法である。 HSAは、ハブエッジ統計データを合成し、標準化し、ペア化されたスペクトル方向を抽出し、信頼性に富んだ一致した証拠とソースゲートの候補分解を結合する。
  論文  参考訳（メタデータ） (2026-09-15T12:27:42Z)
• S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection [74.15663758681849]
  シングルストリームフレームワークは、信頼性キャリブレーションされた周波数適応をMSOD用のSAMバックボーンに組み込む。 RGB-D、RGB-T、RGB-NIRの正当性オブジェクト検出ベンチマークの実験により、提案フレームワークが競合性能を達成することを確認した。
  論文  参考訳（メタデータ） (2026-08-18T08:05:00Z)
• Evaluating Multimodal Steganalysis for Split-Payload Audiovisual Steganography [0.0]
  本稿では,スプリットペイド型オーディオ視覚ステガノグラフィーが一過性および多モード性ステガナリシスの回避に有効であるかどうかを考察する。 我々は、隠れたメッセージがオーディオとビデオのトラックに分割されるオーディオ視覚サンプルを作成し、異なる検出器がそれをどの程度正確に識別できるかをテストする。
  論文  参考訳（メタデータ） (2026-06-07T16:45:58Z)
• Does Seeing More Mean Knowing More? Mono-Anchored Advantage Normalization for Multi-Source Visual Reasoning [36.976702924164584]
  本稿では,視覚的モダリティを独立した情報ソースとしてモデル化する,単調なマルチソース推論フレームワークを提案する。 本手法は,勾配推定におけるマルチソース統合による情報ゲインを効果的に定量化する。 また、GRPOとDAPOは3.2%、パフォーマンスは4.9%向上した。
  論文  参考訳（メタデータ） (2026-05-25T05:29:07Z)
• MSCT: Differential Cross-Modal Attention for Deepfake Detection [8.183317636944706]
  ディープフェイク検出は通常、ビデオ内の偽のトレースをチェックするために、補完的なマルチモーダルモデルを使用する。 従来のマルチモーダルフォージェリー検出法では,特徴抽出やアライメントの偏差が不十分であった。 提案手法は, 隣接する埋め込みの特徴を統合するためのマルチスケール自己注意と, ヒューズマルチモーダル特徴に対する差分相互注意を含む。
  論文  参考訳（メタデータ） (2026-04-09T02:56:16Z)
• Disentanglement of Sources in a Multi-Stream Variational Autoencoder [4.562056072136493]
  変分オートエンコーダ(VAE)は、非絡み合った表現を学習する問題に対処する主要な手法である。 ここでは、個別のラテントを用いて、個々のソースのVAE表現を組み合わせることで、異なるアプローチを探求する。
  論文  参考訳（メタデータ） (2025-10-17T13:54:56Z)
• Prototype-Based Information Compensation Network for Multi-Source Remote Sensing Data Classification [56.065032039986725]
  マルチソースリモートセンシングデータ共同分類は、土地被覆分類の精度と信頼性を提供することを目的としている。 既存の手法では、周波数間マルチソース特徴結合と相補的な情報探索の不整合という2つの課題に直面している。 HSIとSAR/LiDARデータに基づく土地被覆分類のためのプロトタイプベース情報補償ネットワーク(PICNet)を提案する。
  論文  参考訳（メタデータ） (2025-05-06T22:30:23Z)
• Multi-Source and Test-Time Domain Adaptation on Multivariate Signals using Spatio-Temporal Monge Alignment [59.75420353684495]
  コンピュータビジョンやバイオメディカルデータなどの信号に対する機械学習の応用は、ハードウェアデバイスやセッション記録にまたがる変動のため、しばしば課題に直面している。 本研究では,これらの変動を緩和するために,時空間モンジュアライメント(STMA)を提案する。 我々はSTMAが、非常に異なる設定で取得したデータセット間で、顕著で一貫したパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-07-19T13:33:38Z)
• MultiView Independent Component Analysis with Delays [72.19163346293848]
  遅延を用いたマルチビュー独立成分分析(MVICAD)を提案する。 MVICADは、MultiView ICAモデルに基づいて、ソースをいくつかの共有ソースの遅延バージョンとして提供する。 ICAは神経科学でよく用いられるため、大規模脳磁図データセットであるCam-CANに適用した場合、レイテンシーは年齢に関連があることが示されている。
  論文  参考訳（メタデータ） (2023-12-01T10:33:16Z)
• Source-Free Collaborative Domain Adaptation via Multi-Perspective Feature Enrichment for Functional MRI Analysis [55.03872260158717]
  安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。 ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。 しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。 我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
  論文  参考訳（メタデータ） (2023-08-24T01:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。