論文の概要: BMRL: Bi-Modal Guided Multi-Perspective Representation Learning for Zero-Shot Deepfake Attribution

• arxiv url: http://arxiv.org/abs/2504.14129v1
• Date: Sat, 19 Apr 2025 01:11:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 04:54:45.908973
• Title: BMRL: Bi-Modal Guided Multi-Perspective Representation Learning for Zero-Shot Deepfake Attribution
• Title（参考訳）: BMRL:Zero-Shot Deepfake Attributionのためのバイモーダル誘導多視点表現学習
• Authors: Yaning Zhang, Jiahe Zhang, Chunjie Ma, Weili Guan, Tian Gan, Zan Gao,
• Abstract要約: ゼロショットディープフェイク属性(ZS-DFA)のための新しいフレームワークを提案する。 具体的には,多視点視覚エンコーダ (MPVE) を設計し,3つのビューにまたがる一般的なディープフェイク帰属視覚特性を探索する。 言語エンコーダ(Language encoder)は,言語指導による汎用的な視覚表現学習を容易にする,きめ細かな言語埋め込みを捉えるために提案される。
• 参考スコア（独自算出の注目度）: 19.78648266444095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The challenge of tracing the source attribution of forged faces has gained significant attention due to the rapid advancement of generative models. However, existing deepfake attribution (DFA) works primarily focus on the interaction among various domains in vision modality, and other modalities such as texts and face parsing are not fully explored. Besides, they tend to fail to assess the generalization performance of deepfake attributors to unseen generators in a fine-grained manner. In this paper, we propose a novel bi-modal guided multi-perspective representation learning (BMRL) framework for zero-shot deepfake attribution (ZS-DFA), which facilitates effective traceability to unseen generators. Specifically, we design a multi-perspective visual encoder (MPVE) to explore general deepfake attribution visual characteristics across three views (i.e., image, noise, and edge). We devise a novel parsing encoder to focus on global face attribute embeddings, enabling parsing-guided DFA representation learning via vision-parsing matching. A language encoder is proposed to capture fine-grained language embeddings, facilitating language-guided general visual forgery representation learning through vision-language alignment. Additionally, we present a novel deepfake attribution contrastive center (DFACC) loss, to pull relevant generators closer and push irrelevant ones away, which can be introduced into DFA models to enhance traceability. Experimental results demonstrate that our method outperforms the state-of-the-art on the ZS-DFA task through various protocols evaluation.
• Abstract（参考訳）: 造形モデルの急速な進歩により、鍛造面の原点属性の追跡が大きな注目を集めている。 しかし、既存のDeepfake Attribution (DFA) は主に視覚のモダリティにおける様々な領域間の相互作用に焦点を当てており、テキストや顔解析のような他のモダリティは十分に研究されていない。 さらに, 未確認発電機に対するディープフェイク属性の一般化性能をきめ細かな方法で評価する傾向にある。 本稿では,ゼロショットディープフェイク属性(ZS-DFA)のためのバイモーダルガイド型マルチパースペクティブ表現学習(BMRL)フレームワークを提案する。 具体的には,マルチパースペクティブ・ビジュアル・エンコーダ (MPVE) を設計し,3つのビュー(画像,ノイズ,エッジ)にまたがる一般的なディープフェイク属性の視覚特性を探索する。 我々は,グローバルな顔属性の埋め込みに焦点をあてた新しい解析エンコーダを考案し,視覚的パーシングマッチングによる解析誘導型DFA表現学習を実現する。 言語エンコーダ(Language encoder)は、視覚言語アライメントによる言語誘導型汎用視覚フォージェリー表現学習を容易にする、きめ細かい言語埋め込みをキャプチャするために提案される。 さらに,新たなDeepfake Attribution contrastive center (DFACC) の損失を生かし,関連するジェネレータを接近させ,無関係なジェネレータを遠ざけ,トレーサビリティを高めるためにDFAモデルに導入することができる。 実験により,本手法は各種プロトコル評価により,ZS-DFAタスクの最先端性より優れていることが示された。

関連論文リスト

• HAMLET-FFD: Hierarchical Adaptive Multi-modal Learning Embeddings Transformation for Face Forgery Detection [6.060036926093259]
  HAMLET-FFDは顔偽造検出のためのクロスドメイン一般化フレームワークである。 視覚的証拠と概念的手がかりを統合し、専門家の法医学的分析をエミュレートする。 HAMLET-FFDは設計上、外部プラグインとして機能する全ての事前訓練されたパラメータを凍結する。
  論文  参考訳（メタデータ） (2025-07-28T15:09:52Z)
• Multimodal Prompt Alignment for Facial Expression Recognition [24.470095812039286]
  MPA-FERは、引き起こされた視覚的特徴の学習プロセスに対して、きめ細かいセマンティックガイダンスを提供する。 我々のフレームワークは、FERベンチマークの3つのベンチマークデータセット上で最先端の手法より優れています。
  論文  参考訳（メタデータ） (2025-06-26T05:28:57Z)
• LLMs Are Not Yet Ready for Deepfake Image Detection [8.364956401923108]
  視覚言語モデル(VLM)は、様々な領域にまたがる有望なツールとして登場した。 本研究は, ファスワップ, 再現, 合成生成の3つの主要なディープフェイクタイプに焦点を当てた。 解析の結果、VLMはコヒーレントな説明を生成でき、表面レベルの異常を検出できるが、スタンドアロン検出システムとしてはまだ信頼できないことが示唆された。
  論文  参考訳（メタデータ） (2025-06-12T08:27:24Z)
• Learning Knowledge-based Prompts for Robust 3D Mask Presentation Attack Detection [84.21257150497254]
  本稿では,3次元マスク提示攻撃検出のための視覚言語モデルの強力な一般化能力を検討するための,知識に基づく新しいプロンプト学習フレームワークを提案する。 実験により,提案手法は最先端のシナリオ内およびクロスシナリオ検出性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-05-06T15:09:23Z)
• Towards General Visual-Linguistic Face Forgery Detection(V2) [90.6600794602029]
  顔操作技術は大きな進歩を遂げ、セキュリティと社会的信頼に深刻な課題を呈している。 近年の研究では、マルチモーダルモデルを活用することで、顔偽造検出の一般化と解釈可能性を高めることが示されている。 初期領域と型識別にフォージェリマスクを活用することで,正確なテキスト記述を生成する新しいアノテーションパイプラインである Face Forgery Text Generator (FFTG) を提案する。
  論文  参考訳（メタデータ） (2025-02-28T04:15:36Z)
• Exploring Representation-Aligned Latent Space for Better Generation [86.45670422239317]
  生成性能を改善するために,セマンティックな事前情報を統合するReaLSを導入する。 本研究では、ReaLSでトレーニングされたDETとSiTが、FID測定値の15%改善を実現することを示す。 拡張されたセマンティック潜在空間は、セグメンテーションや深さ推定のようなより知覚的な下流タスクを可能にする。
  論文  参考訳（メタデータ） (2025-02-01T07:42:12Z)
• Advancing General Multimodal Capability of Vision-language Models with Pyramid-descent Visual Position Encoding [64.29499221878746]
  視覚言語モデル(VLM)は、汎用人工知能の進歩において顕著な能力を示している。 PyPEは、VLM内の視覚トークンの知覚を高めるために設計された新しいアプローチである。 本手法は,相互関連視覚要素と命令トークンとの相対的距離を減少させる。
  論文  参考訳（メタデータ） (2025-01-19T07:00:46Z)
• Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
  顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。 本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。 本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
  論文  参考訳（メタデータ） (2024-11-28T13:04:45Z)
• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• Bi-LORA: A Vision-Language Approach for Synthetic Image Detection [14.448350657613364]
  生成逆数ネットワーク(GAN)や拡散モデル(DM)のような深層画像合成技術は、非常に現実的な画像を生成する時代に定着してきた。 本稿では、視覚言語モデル(VLM)のゼロショット特性と相まって、視覚と言語の間の強力な収束能力から着想を得る。 我々は,VLMと低ランク適応(LORA)チューニング技術を組み合わせたBi-LORAと呼ばれる革新的な手法を導入し,未知のモデル生成画像に対する合成画像検出の精度を向上させる。
  論文  参考訳（メタデータ） (2024-04-02T13:54:22Z)
• Emotic Masked Autoencoder with Attention Fusion for Facial Expression Recognition [1.4374467687356276]
  本稿では,MAE-Face self-supervised learning (SSL) 法と多視点融合注意機構を組み合わせた表現分類手法を提案する。 我々は、重要な顔の特徴を強調表示して、そのような機能がモデルのガイドとして機能するかどうかを判断することを目的とした、実装が容易でトレーニングなしのフレームワークを提案する。 Aff-wild2データセットにおけるモデル性能の改善により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-19T16:21:47Z)
• Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
  本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。 包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。 有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
  論文  参考訳（メタデータ） (2024-01-29T10:36:57Z)
• Manipulating Feature Visualizations with Gradient Slingshots [53.94925202421929]
  特徴可視化(FV)は、ディープニューラルネットワーク(DNN)で学んだ概念を解釈するための広く使われている手法である。 本稿では,モデルアーキテクチャを変更したり,性能を著しく劣化させたりすることなくFVの操作を可能にする新しい手法,Gradient Slingshotsを提案する。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
  サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。 既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。 本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T00:13:17Z)
• Learning Robust Visual-Semantic Embedding for Generalizable Person Re-identification [11.562980171753162]
  一般化可能な人物識別(Re-ID)は、機械学習とコンピュータビジョンにおいて非常にホットな研究トピックである。 従来の手法は主に視覚表現学習に焦点をあてるが、訓練中の意味的特徴の可能性を検討することは無視される。 MMETと呼ばれるマルチモーダル等価変換器を提案し,より堅牢なビジュアル・セマンティックな埋め込み学習を実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:37:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。