論文の概要: Unifying Semantic Priors and High-Frequency Traces: Enhancing V-JEPA with Mixture-of-Experts for Robust Synthetic Image Forensics
- arxiv url: http://arxiv.org/abs/2609.16778v1
- Date: Tue, 15 Sep 2026 07:46:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.393934
- Title: Unifying Semantic Priors and High-Frequency Traces: Enhancing V-JEPA with Mixture-of-Experts for Robust Synthetic Image Forensics
- Title（参考訳）: セマンティック優先と高周波トレースの統一:ロバスト合成画像鑑定のための混合実験によるV-JEPAの強化
- Abstract要約: ソーシャルメディアプラットフォーム上での操作済み画像の拡散は誤報の拡散を増大させている。
現代のディープフェイク検出器は、完全に合成された画像や局所的な改ざんされた画像を特徴付ける低レベルの不整合を捉えるために、視覚変換器(ViT)に依存している。
我々は,JEPAモデルのディープフェイク検出への応用を開拓した。
- 参考スコア（独自算出の注目度）: 9.856046415187194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The unchecked proliferation of manipulated images on social media platforms has increased the spread of misinformation, posing a severe threat to public trust and information integrity. Modern deepfake detectors typically rely on Vision Transformers (ViTs) to capture the low-level inconsistencies that characterize fully synthetic or locally tampered images. However, the global understanding of such foundation models is not enough to discriminate alone between real and fake multimedia content, especially in challenging scenarios where images are compressed or transmitted through social media. In this paper we pioneer the application of Joint-Embedding Predictive Architecture (JEPA) models to deepfake detection, taking advantage of the generalized representation of visual reality that such World Models have exhibited. We hypothesize, and empirically demonstrate, that the intrinsic world understanding of JEPA models can be used as a strong prior for a deepfake detector. To fully exploit JEPA capabilities, we propose MoE-JEPA, a dual-stream architecture for deepfake detection. By enhancing a V-JEPA 2 backbone with a Residual Mixture-of-Experts (MoE) mechanism, along with a noise stream branch, our model dynamically internalizes forensic knowledge. Furthermore, a Gated Attention Multiple Instance Learning (MIL) module is employed to ensure precise spatial semantic understanding. Evaluated on the SID-Set benchmark, comprising 300K AI-generated, tampered and authentic images, MoE-JEPA establishes a new state-of-the-art with an accuracy of 95.54%, successfully outperforming vastly larger models.
- Abstract（参考訳）: ソーシャルメディアプラットフォーム上での操作済み画像の拡散は、偽情報の拡散を増大させ、公衆の信頼と情報の整合性に深刻な脅威をもたらしている。
現代のディープフェイク検出器は、完全に合成された画像や局所的な改ざんされた画像を特徴付ける低レベルの不整合を捉えるために、視覚変換器(ViT)に依存している。
しかし、そのような基盤モデルのグローバルな理解は、特に画像が圧縮されたり、ソーシャルメディアを通じて送信されたりする困難なシナリオにおいて、実際のマルチメディアコンテンツと偽のマルチメディアコンテンツとを区別するのに十分ではない。
本稿では,このような世界モデルが提示した視覚的現実の一般化表現を活かして,JEPAモデルを用いた深度検出の先駆的手法を提案する。
我々は、JEPAモデルの本質的な世界理解がディープフェイク検出器の強い先駆体として利用できると仮定し、実証した。
JEPA機能をフル活用するために、ディープフェイク検出のためのデュアルストリームアーキテクチャであるMoE-JEPAを提案する。
V-JEPA 2のバックボーンをResidual Mixture-of-Experts (MoE) 機構で拡張し,ノイズストリームブランチを併用することにより,我々のモデルは法医学的知識を動的に内部化する。
さらに、正確な空間意味理解を確保するために、Gated Attention Multiple Instance Learning (MIL)モジュールが使用される。
300KのAI生成、改ざん、認証された画像からなるSID-Setベンチマークで評価されたMoE-JEPAは、95.54%の精度で新しい最先端の技術を確立し、非常に大きなモデルを上回った。
関連論文リスト
- The Alpha Blending Hypothesis: Compositing Shortcut in Deepfake Detection [48.85953407706351]
我々はアルファブレンディング仮説を導入し、最先端のフレームベースの検出器が主にアルファブレンディングサーチとして機能することを示した。
我々は、この仮説を実験的に検証し、ディープフェイク検出器がいわゆるセルフブレンド画像に対して高い感度を示すことを示した。
提案手法では, ブレンディング・サーチとブレンディング・ショートカットに耐性のあるモデルからの予測が極めて相補的であり, アンサンブル構成で94.0%の最先端のAUROCが得られることを示す。
論文 参考訳（メタデータ） (2026-05-11T10:35:39Z) - Deepfake Forensics Adapter: A Dual-Stream Network for Generalizable Deepfake Detection [22.889849855283355]
Deepfake Forensics Adapter (DFA)は、視覚言語の基礎モデルをターゲットの法医学分析と相乗化する新しいデュアルストリームフレームワークである。
提案手法では,事前学習したCLIPモデルと3つのコアコンポーネントを統合して,ディープフェイク検出を実現する。
我々のフレームワークは、最先端の性能を実証するだけでなく、堅牢なディープフェイク検出システムを開発するための実用的で効果的な方向を指摘する。
論文 参考訳（メタデータ） (2026-03-02T04:58:00Z) - AdaptPrompt: Parameter-Efficient Adaptation of VLMs for Generalizable Deepfake Detection [7.76090543025328]
画像生成の最近の進歩により、高度にリアルな合成メディアが普及し、信頼性の高いディープフェイク検出の難しさが高まっている。
重要な課題は一般化であり、限られた種類の発電機で訓練された検出器は、目に見えないモデルに直面すると失敗することが多い。
本稿では,大規模視覚言語モデル(特にCLIP)を活用して,多様な生成技術にまたがる合成内容の同定を行うことにより,一般化可能な検出の必要性に対処する。
論文 参考訳（メタデータ） (2025-12-19T16:06:03Z) - Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。
KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
論文 参考訳（メタデータ） (2025-10-23T07:12:26Z) - ForensicsSAM: Toward Robust and Unified Image Forgery Detection and Localization Resisting to Adversarial Attack [56.0056378072843]
高い転送性を持つ逆画像は上流モデルでのみ作成可能であることを示す。
本稿では,IFDLフレームワークを組み込んだForensicsSAMを提案する。
論文 参考訳（メタデータ） (2025-08-10T16:03:44Z) - FAME: A Lightweight Spatio-Temporal Network for Model Attribution of Face-Swap Deepfakes [9.462613446025001]
フェイスフェイクのDeepfakeビデオは、デジタルセキュリティ、プライバシー、メディアの整合性へのリスクが高まる。
FAMEは、異なる顔生成モデルに特有の微妙なアーティファクトをキャプチャするために設計されたフレームワークである。
結果は、FAMEが既存のメソッドを精度と実行時の両方で一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-06-13T05:47:09Z) - DFBench: Benchmarking Deepfake Image Detection Capability of Large Multimodal Models [43.86847047796023]
現在のディープフェイク検出方法は、生成モデルやコンテンツの多様性に制限のあるデータセットに依存することが多い。
textbfDFBenchは大規模なDeepFakeベンチマークで、リアル、AI編集、AI生成コンテンツにわたって54万のイメージが提供されている。
我々は,複数のLMMから合成された確率戦略を利用して,ディープフェイク検出のための混合エージェントであるtextbfMoA-DFを提案する。
論文 参考訳（メタデータ） (2025-06-03T15:45:41Z) - So-Fake: Benchmarking and Explaining Social Media Image Forgery Detection [75.79507634008631]
So-Fake-Setは、200万以上の高品質な画像、多様な生成源、35の最先端生成モデルを用いて合成された画像を備えたソーシャルメディア指向のデータセットである。
本稿では,高精度な偽造検出,高精度な位置推定,解釈可能な視覚論理による説明可能な推論に強化学習を利用する高度な視覚言語フレームワークであるSo-Fake-R1を提案する。
論文 参考訳（メタデータ） (2025-05-24T11:53:35Z) - HFMF: Hierarchical Fusion Meets Multi-Stream Models for Deepfake Detection [4.908389661988192]
HFMFは総合的な2段階のディープフェイク検出フレームワークである。
視覚変換器と畳み込みネットを階層的特徴融合機構を通じて統合する。
私たちのアーキテクチャは、多様なデータセットベンチマークで優れたパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2025-01-10T00:20:29Z) - SIDA: Social Media Image Deepfake Detection, Localization and Explanation with Large Multimodal Model [48.547599530927926]
ソーシャルメディア上で共有される合成画像は、広範囲の聴衆を誤解させ、デジタルコンテンツに対する信頼を損なう可能性がある。
ソーシャルメディア画像検出データセット(SID-Set)を紹介する。
本稿では,SIDA という画像深度検出,局所化,説明の枠組みを提案する。
論文 参考訳（メタデータ） (2024-12-05T16:12:25Z) - Rethinking the Up-Sampling Operations in CNN-based Generative Network
for Generalizable Deepfake Detection [86.97062579515833]
我々は、アップサンプリング操作から生じる一般化された構造的アーティファクトをキャプチャし、特徴付ける手段として、NPR(Neighboring Pixel Relationships)の概念を紹介した。
tft28の異なる生成モデルによって生成されたサンプルを含む、オープンワールドデータセット上で包括的な分析を行う。
この分析は、新しい最先端のパフォーマンスを確立し、既存の手法よりも優れたtft11.6%の向上を示している。
論文 参考訳（メタデータ） (2023-12-16T14:27:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。