論文の概要: Beyond Surface Artifacts: Capturing Shared Latent Forgery Knowledge Across Modalities

• arxiv url: http://arxiv.org/abs/2604.07763v1
• Date: Thu, 09 Apr 2026 03:35:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.676546
• Title: Beyond Surface Artifacts: Capturing Shared Latent Forgery Knowledge Across Modalities
• Title（参考訳）: 表面アーチファクトを超えて: モダリティ全体にわたって共有された潜在偽造の知識をキャプチャする
• Authors: Jingtong Dou, Chuancheng Shi, Jian Wang, Fei Shen, Zhiyong Wang, Tat-Seng Chua,
• Abstract要約: 本稿では,従来の「機能融合」から「モダリティ一般化」に再定義するパラダイムシフトを提案する。 モーダリティ固有のスタイルを明示的に分離することにより,MAFは必須かつ非モーダルな潜在フォージェリー知識を正確に抽出する。
• 参考スコア（独自算出の注目度）: 52.189426539304065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As generative artificial intelligence evolves, deepfake attacks have escalated from single-modality manipulations to complex, multimodal threats. Existing forensic techniques face a severe generalization bottleneck: by relying excessively on superficial, modality-specific artifacts, they neglect the shared latent forgery knowledge hidden beneath variable physical appearances. Consequently, these models suffer catastrophic performance degradation when confronted with unseen "dark modalities." To break this limitation, this paper introduces a paradigm shift that redefines multimodal forensics from conventional "feature fusion" to "modality generalization." We propose the first modality-agnostic forgery (MAF) detection framework. By explicitly decoupling modality-specific styles, MAF precisely extracts the essential, cross-modal latent forgery knowledge. Furthermore, we define two progressive dimensions to quantify model generalization: transferability toward semantically correlated modalities (Weak MAF), and robustness against completely isolated signals of "dark modality" (Strong MAF). To rigorously assess these generalization limits, we introduce the DeepModal-Bench benchmark, which integrates diverse multimodal forgery detection algorithms and adapts state-of-the-art generalized learning methods. This study not only empirically proves the existence of universal forgery traces but also achieves significant performance breakthroughs on unknown modalities via the MAF framework, offering a pioneering technical pathway for universal multimodal defense.
• Abstract（参考訳）: 生成的人工知能が進化するにつれて、ディープフェイク攻撃は単一のモダリティ操作から複雑なマルチモーダル脅威へとエスカレートしている。 既存の法医学的手法は、表面的、モダリティ固有のアーティファクトに過度に依存することによって、様々な物理的外観の下に隠された共有された潜伏偽造の知識を無視する、という、重大な一般化のボトルネックに直面している。 その結果、これらのモデルは、目に見えない「暗黒のモダリティ」に直面すると、破滅的な性能劣化に悩まされる。 この限界を打破するために,本研究では,従来の「機能融合」から「モダリティ一般化」に再定義するパラダイムシフトを導入する。 そこで本研究では,MAF(Modality-Agnostic Forgery)検出フレームワークを提案する。 モダリティ固有のスタイルを明示的に分離することにより、MAFは必須でモダリティ横断の潜在フォージェリー知識を正確に抽出する。 さらに、モデルの一般化を定量化するために、意味論的に相関したモーダル性(Weak MAF)への転送可能性と、完全に孤立した「ダークモーダル」信号に対するロバスト性(Strong MAF)という2つのプログレッシブ次元を定義した。 本稿では,これらの一般化限界を厳密に評価するために,多様なマルチモーダルフォージェリ検出アルゴリズムを統合し,最先端の一般化学習手法を適用したDeepModal-Benchベンチマークを提案する。 この研究は、万能の偽証跡の存在を実証的に証明するだけでなく、MAFフレームワークを通じて未知のモダリティに対する重要なパフォーマンスのブレークスルーを達成し、普遍的マルチモーダル防衛のための先駆的な技術パスを提供する。

関連論文リスト

• Progressive Representation Learning for Multimodal Sentiment Analysis with Incomplete Modalities [26.613566093134065]
  マルチモーダル・センティメント・アナリティクスは、テキスト、音響、視覚的手がかりを統合することで人間の感情を推測する。 既存のアプローチでは、すべてのモダリティが完全であるのに対して、現実のアプリケーションは、ノイズやハードウェアの障害、あるいはモダリティの欠如につながるプライバシー制限にしばしば遭遇する。 我々は、不確実なモダリティ条件下でMSA用に設計されたプログレッシブ表現学習フレームワークPRLFを提案する。
  論文  参考訳（メタデータ） (2026-03-10T02:45:02Z)
• Human-Inspired Learning for Large Language Models via Obvious Record and Maximum-Entropy Method Discovery [0.11844977816228043]
  本稿では,2つの相補的なメカニズムを組み込んだヒューマンインスピレーション学習フレームワークを提案する。 第一のObvious Recordは、因果関係(または疑問解決)を象徴記憶として明示的に記憶する。 第二に、最大エントロピー法発見(Maximum-Entropy Method Discovery)は、高いセマンティックな相似性を持つメソッドを優先順位付けし、保存する。
  論文  参考訳（メタデータ） (2025-12-14T09:12:09Z)
• Filling the Gaps: A Multitask Hybrid Multiscale Generative Framework for Missing Modality in Remote Sensing Semantic Segmentation [28.992992584085787]
  マルチモーダル学習は、通常の単調モデルと比較して大きな性能向上を示した。 現実のシナリオでは、センサーの故障と悪天候のためにマルチモーダル信号が欠落する可能性がある。 本稿では,これらの制約に対処するために,GEMMNet(Generative-Enhanced MultiModal Learning Network)を提案する。
  論文  参考訳（メタデータ） (2025-09-14T05:40:35Z)
• Towards Modality Generalization: A Benchmark and Prospective Analysis [68.20973671493203]
  本稿では,モダリティ・ジェネリゼーション(MG)について述べる。 マルチモーダルアルゴリズムを特徴とする包括的ベンチマークを提案し,一般化に着目した既存手法を適用した。 私たちの研究は、堅牢で適応可能なマルチモーダルモデルを進化させる基盤を提供し、現実的なシナリオで目に見えないモダリティを扱えるようにします。
  論文  参考訳（メタデータ） (2024-12-24T08:38:35Z)
• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing [26.901402236963374]
  Face Anti-Spoofing (FAS) は、顔認証システムのプレゼンテーション攻撃に対する保護に不可欠である。 多くのマルチモーダルなFASアプローチが出現しているが、見当たらない攻撃や展開条件を一般化する上での課題に直面している。
  論文  参考訳（メタデータ） (2024-02-29T16:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。