論文の概要: PVLM: Parsing-Aware Vision Language Model with Dynamic Contrastive Learning for Zero-Shot Deepfake Attribution

• arxiv url: http://arxiv.org/abs/2504.14129v2
• Date: Thu, 18 Sep 2025 08:24:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 15:20:14.418141
• Title: PVLM: Parsing-Aware Vision Language Model with Dynamic Contrastive Learning for Zero-Shot Deepfake Attribution
• Title（参考訳）: PVLM:ゼロショットディープフェイク属性に対する動的コントラスト学習を用いた構文認識型視覚言語モデル
• Authors: Yaning Zhang, Jiahe Zhang, Chunjie Ma, Weili Guan, Tian Gan, Zan Gao,
• Abstract要約: ゼロショットディープフェイク属性(ZS-DFA)のための動的コントラスト学習法(PVLM)を用いた新しい構文認識型視覚言語モデルを提案する。 具体的には、拡散のような未確認の先進発電機に対するディープフェイク属性の属性性能を評価するために、新規できめ細かいZS-DFAベンチマークを実施している。 また,動的コントラスト学習(PVLM)法を用いて,汎用的かつ多様な属性特徴を抽出する革新的な解析誘導型視覚言語モデルを提案する。
• 参考スコア（独自算出の注目度）: 36.409362073662685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The challenge of tracing the source attribution of forged faces has gained significant attention due to the rapid advancement of generative models. However, existing deepfake attribution (DFA) works primarily focus on the interaction among various domains in vision modality, and other modalities such as texts and face parsing are not fully explored. Besides, they tend to fail to assess the generalization performance of deepfake attributors to unseen advanced generators like diffusion in a fine-grained manner. In this paper, we propose a novel parsing-aware vision language model with dynamic contrastive learning(PVLM) method for zero-shot deepfake attribution (ZS-DFA),which facilitates effective and fine-grained traceability to unseen advanced generators. Specifically, we conduct a novel and fine-grained ZS-DFA benchmark to evaluate the attribution performance of deepfake attributors to unseen advanced generators like diffusion. Besides, we propose an innovative parsing-guided vision language model with dynamic contrastive learning (PVLM) method to capture general and diverse attribution features. We are motivated by the observation that the preservation of source face attributes in facial images generated by GAN and diffusion models varies significantly. We employ the inherent face attributes preservation differences to capture face parsing-aware forgery representations. Therefore, we devise a novel parsing encoder to focus on global face attribute embeddings, enabling parsing-guided DFA representation learning via dynamic vision-parsing matching. Additionally, we present a novel deepfake attribution contrastive center loss to pull relevant generators closer and push irrelevant ones away, which can be introduced into DFA models to enhance traceability. Experimental results show that our model exceeds the state-of-the-art on the ZS-DFA benchmark via various protocol evaluations.
• Abstract（参考訳）: 造形モデルの急速な進歩により、鍛造面の原点属性の追跡が大きな注目を集めている。 しかし、既存のDeepfake Attribution (DFA) は主に視覚のモダリティにおける様々な領域間の相互作用に焦点を当てており、テキストや顔解析のような他のモダリティは十分に研究されていない。 さらに、拡散のような先進的なジェネレータに対して、ディープフェイク属性の一般化性能をきめ細かな方法で評価することができない傾向にある。 本稿では,ゼロショットディープフェイク帰属(ZS-DFA)のための動的コントラスト学習(PVLM)手法を用いた構文認識型視覚言語モデルを提案する。 具体的には、拡散のような未確認の先進発電機に対するディープフェイク属性の属性性能を評価するために、新規できめ細かいZS-DFAベンチマークを実施している。 さらに,動的コントラスト学習 (PVLM) 法を応用した革新的構文解析誘導型視覚言語モデルを提案する。 我々は,GANと拡散モデルにより生成された顔画像の原顔属性の保存が著しく異なるという観察に動機づけられた。 顔特徴保存の相違を利用して、顔解析を意識した偽造表現をキャプチャする。 そこで我々は,グローバルな顔属性の埋め込みに着目した構文解析エンコーダを考案し,動的視覚パーシングマッチングによる解析誘導型DFA表現学習を実現する。 さらに,DFAモデルに導入してトレーサビリティを高めることで,関連する発電機を接近させ,無関係の発電機を遠ざけるための,新しいディープフェイク帰属型センターロスを提案する。 実験結果から,ZS-DFAベンチマークでは各種プロトコル評価により,本モデルが最先端の手法を超越していることが判明した。

関連論文リスト

• HAMLET-FFD: Hierarchical Adaptive Multi-modal Learning Embeddings Transformation for Face Forgery Detection [6.060036926093259]
  HAMLET-FFDは顔偽造検出のためのクロスドメイン一般化フレームワークである。 視覚的証拠と概念的手がかりを統合し、専門家の法医学的分析をエミュレートする。 HAMLET-FFDは設計上、外部プラグインとして機能する全ての事前訓練されたパラメータを凍結する。
  論文  参考訳（メタデータ） (2025-07-28T15:09:52Z)
• Multimodal Prompt Alignment for Facial Expression Recognition [24.470095812039286]
  MPA-FERは、引き起こされた視覚的特徴の学習プロセスに対して、きめ細かいセマンティックガイダンスを提供する。 我々のフレームワークは、FERベンチマークの3つのベンチマークデータセット上で最先端の手法より優れています。
  論文  参考訳（メタデータ） (2025-06-26T05:28:57Z)
• Learning Knowledge-based Prompts for Robust 3D Mask Presentation Attack Detection [84.21257150497254]
  本稿では,3次元マスク提示攻撃検出のための視覚言語モデルの強力な一般化能力を検討するための,知識に基づく新しいプロンプト学習フレームワークを提案する。 実験により,提案手法は最先端のシナリオ内およびクロスシナリオ検出性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-05-06T15:09:23Z)
• Towards General Visual-Linguistic Face Forgery Detection(V2) [90.6600794602029]
  顔操作技術は大きな進歩を遂げ、セキュリティと社会的信頼に深刻な課題を呈している。 近年の研究では、マルチモーダルモデルを活用することで、顔偽造検出の一般化と解釈可能性を高めることが示されている。 初期領域と型識別にフォージェリマスクを活用することで,正確なテキスト記述を生成する新しいアノテーションパイプラインである Face Forgery Text Generator (FFTG) を提案する。
  論文  参考訳（メタデータ） (2025-02-28T04:15:36Z)
• Advancing General Multimodal Capability of Vision-language Models with Pyramid-descent Visual Position Encoding [64.29499221878746]
  視覚言語モデル(VLM)は、汎用人工知能の進歩において顕著な能力を示している。 PyPEは、VLM内の視覚トークンの知覚を高めるために設計された新しいアプローチである。 本手法は,相互関連視覚要素と命令トークンとの相対的距離を減少させる。
  論文  参考訳（メタデータ） (2025-01-19T07:00:46Z)
• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• Emotic Masked Autoencoder with Attention Fusion for Facial Expression Recognition [1.4374467687356276]
  本稿では,MAE-Face self-supervised learning (SSL) 法と多視点融合注意機構を組み合わせた表現分類手法を提案する。 我々は、重要な顔の特徴を強調表示して、そのような機能がモデルのガイドとして機能するかどうかを判断することを目的とした、実装が容易でトレーニングなしのフレームワークを提案する。 Aff-wild2データセットにおけるモデル性能の改善により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-19T16:21:47Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
  サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。 既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。 本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T00:13:17Z)
• Learning Robust Visual-Semantic Embedding for Generalizable Person Re-identification [11.562980171753162]
  一般化可能な人物識別(Re-ID)は、機械学習とコンピュータビジョンにおいて非常にホットな研究トピックである。 従来の手法は主に視覚表現学習に焦点をあてるが、訓練中の意味的特徴の可能性を検討することは無視される。 MMETと呼ばれるマルチモーダル等価変換器を提案し,より堅牢なビジュアル・セマンティックな埋め込み学習を実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:37:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。