論文の概要: Harnessing CLIP and DINO: An Uncertainty-Aware Cascaded Fusion Network for Generalizable Deepfake Image Detection

• arxiv url: http://arxiv.org/abs/2609.07670v1
• Date: Mon, 07 Sep 2026 15:59:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.46323
• Title: Harnessing CLIP and DINO: An Uncertainty-Aware Cascaded Fusion Network for Generalizable Deepfake Image Detection
• Title（参考訳）: Harnessing CLIPとDINO: 一般化可能なディープフェイク画像検出のための不確実なカスケード核融合ネットワーク
• Abstract要約: UCF-Netは、CLIPの言語対応セマンティックオーディエンスとDINOの自己監督型視覚構造オーディエンスを利用する、不確実性を認識したカスケード融合ネットワークである。 公開ディープフェイクデータセットを約4M画像の統一ベンチマークに集約し、8K以上の顔画像からなる別個のクロスジェネレータ評価セットを構築する。 統合されたベンチマークでは、UCF-Netは、ドメイン内評価とクロスドメイン評価の両方において、評価手法の中で最高の平均AUCを達成する。
• 参考スコア（独自算出の注目度）: 37.90071216560782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing realism and accessibility of manipulated and generated faces threaten the trustworthiness of digital media. To detect such forgeries, deepfake detectors based on vision foundation models have shown promising performance, but they typically rely on a single pretrained representation and are prone to overfitting to particular training distributions. To improve generalization to unseen forgeries, we propose UCF-Net, an uncertainty-aware cascaded fusion network that harnesses CLIP's language-aligned semantic priors and DINO's self-supervised visual-structure priors. UCF-Net extracts hierarchical features across Transformer depths, uses layer-wise expert aggregation to adaptively combine each encoder's multi-level cues, and performs weighted fusion of the resulting representations based on entropy-derived uncertainty. We further consolidate public deepfake datasets into a unified benchmark of approximately 4M images and construct a separate cross-generator evaluation set with over 8K face images from eight recent generators. On the unified benchmark, UCF-Net achieves the best mean AUC among the evaluated methods in both in-domain and cross-domain evaluations. On the cross-generator set, it adapts effectively with limited target-domain data, although zero-shot transfer remains challenging.
• Abstract（参考訳）: 操作された顔と生成された顔の現実性とアクセシビリティの増大は、デジタルメディアの信頼性を脅かす。 このような偽造品を検出するために、視覚基礎モデルに基づくディープフェイク検出器は有望な性能を示してきたが、通常は1つの事前訓練された表現に依存しており、特定の訓練分布に過度に適合する傾向にある。 UCF-Netは,CLIPの言語対応セマンティック先行とDINOの自己教師型視覚構造先行を利用する不確実性対応のカスケード融合ネットワークである。 UCF-Netはトランスフォーマーの深さにまたがる階層的特徴を抽出し、各エンコーダのマルチレベルキューを適応的に組み合わせ、エントロピー由来の不確実性に基づいた結果表現の重み付き融合を行う。 さらに、公開ディープフェイクデータセットを約4M画像の統一ベンチマークに統合し、8つの最近のジェネレータから8K以上の顔画像を含む別個のクロスジェネレータ評価セットを構築する。 統合されたベンチマークでは、UCF-Netは、ドメイン内評価とクロスドメイン評価の両方において、評価手法の中で最高の平均AUCを達成する。 クロスジェネレータセットでは、ゼロショット転送は依然として難しいが、ターゲットドメインの限られたデータに効果的に適応する。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• Deepfake Forensics Adapter: A Dual-Stream Network for Generalizable Deepfake Detection [22.889849855283355]
  Deepfake Forensics Adapter (DFA)は、視覚言語の基礎モデルをターゲットの法医学分析と相乗化する新しいデュアルストリームフレームワークである。 提案手法では,事前学習したCLIPモデルと3つのコアコンポーネントを統合して,ディープフェイク検出を実現する。 我々のフレームワークは、最先端の性能を実証するだけでなく、堅牢なディープフェイク検出システムを開発するための実用的で効果的な方向を指摘する。
  論文  参考訳（メタデータ） (2026-03-02T04:58:00Z)
• Detecting AI-Generated Forgeries via Iterative Manifold Deviation Amplification [11.465428962772245]
  IFA-Netは「偽物」の学習から「本物」のモデリングへと移行する。 IFA-NetはIoUが6.5%、F1スコアが8.1%向上した。
  論文  参考訳（メタデータ） (2026-02-21T14:14:17Z)
• UAGLNet: Uncertainty-Aggregated Global-Local Fusion Network with Cooperative CNN-Transformer for Building Extraction [83.48950950780554]
  リモートセンシング画像からの抽出は、複雑な構造変化のために難しい課題である。 既存の方法は、セグメンテーションモデルにおけるマルチスケール特徴をキャプチャするために、畳み込みブロックまたは自己アテンションブロックを使用する。 高品質なグローバルローカルなビジュアルセマンティクスを活用するために,不確実性集約型グローバルローカルフュージョンネットワーク(UAGLNet)を提案する。
  論文  参考訳（メタデータ） (2025-12-15T02:59:16Z)
• Multi-modal Deepfake Detection and Localization with FPN-Transformer [21.022230340898556]
  FPN変換器(Feature Pyramid-Transformer)に基づくマルチモーダルディープフェイク検出およびローカライゼーションフレームワークを提案する。 マルチスケールな特徴ピラミッドは、R-TLMブロックと局所的な注意機構によって構築され、コンテキスト間の時間的依存関係の結合解析を可能にする。 我々は,IJCAI'25 DDL-AVベンチマークの試験セットに対するアプローチを評価し,最終スコア0.7535で良好な性能を示した。
  論文  参考訳（メタデータ） (2025-11-11T09:33:39Z)
• Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
  本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:12:26Z)
• CAE-Net: Generalized Deepfake Image Detection using Convolution and Attention Mechanisms with Spatial and Frequency Domain Features [0.6700983301090583]
  クラス不均衡に対処し,アンサンブルベースのアーキテクチャであるemphCAE-Netを考案した。 私たちのアーキテクチャは、畳み込みと注目に基づくアンサンブルネットワークで構成されており、3つの異なるニューラルネットワークアーキテクチャを採用している。 EfficientNet B0アーキテクチャは90.79%、ConvNeXtアーキテクチャは89.49%、DeiTアーキテクチャは89.32%である。
  論文  参考訳（メタデータ） (2025-02-15T06:02:11Z)
• Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
  Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。 CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
  論文  参考訳（メタデータ） (2024-07-29T18:00:10Z)
• Cross-domain Robust Deepfake Bias Expansion Network for Face Forgery Detection [4.269822517578155]
  本稿では,顔偽造検出を強化するために,クロスドメインロバストバイアス拡張ネットワーク(BENet)を導入する。 BENetは、入力顔の再構成にオートエンコーダを使用し、実際の顔の不変性を維持しつつ、再構成された偽顔と元の顔との差を選択的に強化する。 さらに、BENetは、サンプルが既知の分布に属するかどうかを決定する閾値を持つクロスドメイン検出器を組み込んでいる。
  論文  参考訳（メタデータ） (2023-10-08T11:30:22Z)
• MD-CSDNetwork: Multi-Domain Cross Stitched Network for Deepfake Detection [80.83725644958633]
  現在のディープフェイク生成法では、偽画像やビデオの周波数スペクトルに識別的アーティファクトが残されている。 MD-CSDNetwork(MD-CSDNetwork)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T14:11:53Z)
• A U-Net Based Discriminator for Generative Adversarial Networks [86.67102929147592]
  GAN(Generative Adversarial Network)のための代替U-Netベースの識別器アーキテクチャを提案する。 提案アーキテクチャにより,合成画像のグローバルコヒーレンスを維持しつつ,画素単位の詳細なフィードバックを生成元に提供することができる。 斬新な判別器は、標準分布と画像品質の指標の観点から、最先端の技術を向上する。
  論文  参考訳（メタデータ） (2020-02-28T11:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。