論文の概要: MARE: Multimodal Alignment and Reinforcement for Explainable Deepfake Detection via Vision-Language Models
- arxiv url: http://arxiv.org/abs/2601.20433v1
- Date: Wed, 28 Jan 2026 09:44:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-29 15:46:06.885211
- Title: MARE: Multimodal Alignment and Reinforcement for Explainable Deepfake Detection via Vision-Language Models
- Title（参考訳）: MARE:視覚言語モデルによる説明可能なディープフェイク検出のためのマルチモーダルアライメントと強化
- Authors: Wenbo Xu, Wei Lu, Xiangyang Luo, Jiantao Zhou,
- Abstract要約: 視覚言語モデルを用いた説明可能なディープフェイク検出のためのマルチモーダルアライメントと強化(MARE)を提案する。
MarEは、人間のフィードバックからの強化学習を取り入れ、人間の嗜好に固執する推論コンテンツの生成を動機付けている。
MarEは精度と信頼性の観点から最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 33.23839828166033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deepfake detection is a widely researched topic that is crucial for combating the spread of malicious content, with existing methods mainly modeling the problem as classification or spatial localization. The rapid advancements in generative models impose new demands on Deepfake detection. In this paper, we propose multimodal alignment and reinforcement for explainable Deepfake detection via vision-language models, termed MARE, which aims to enhance the accuracy and reliability of Vision-Language Models (VLMs) in Deepfake detection and reasoning. Specifically, MARE designs comprehensive reward functions, incorporating reinforcement learning from human feedback (RLHF), to incentivize the generation of text-spatially aligned reasoning content that adheres to human preferences. Besides, MARE introduces a forgery disentanglement module to capture intrinsic forgery traces from high-level facial semantics, thereby improving its authenticity detection capability. We conduct thorough evaluations on the reasoning content generated by MARE. Both quantitative and qualitative experimental results demonstrate that MARE achieves state-of-the-art performance in terms of accuracy and reliability.
- Abstract（参考訳）: ディープフェイク検出(Deepfake detection)は、悪意のあるコンテンツの拡散と戦うために重要なトピックであり、既存の手法は主に問題を分類や空間的局所化としてモデル化している。
生成モデルの急速な進歩は、ディープフェイク検出に新たな要求を課した。
本稿では,視覚言語モデルを用いたマルチモーダルアライメントと説明可能なディープフェイク検出のための強化手法であるMAREを提案し,ディープフェイク検出と推論におけるビジョン・ランゲージ・モデル(VLM)の精度と信頼性を高めることを目的とした。
具体的には、人間からのフィードバック(RLHF)からの強化学習を取り入れた総合的な報酬関数を設計し、人間の嗜好に順応するテキストに順応した推論コンテンツの生成を動機付ける。
さらに、MAREは、高いレベルの顔のセマンティクスから固有の偽の痕跡を捕捉し、その真正性検出能力を向上させるために、偽の非絡み込みモジュールを導入している。
我々はMAREによる推論内容の徹底的な評価を行う。
定量的および定性的な実験結果から、MAREは精度と信頼性の点で最先端の性能を達成することが示された。
関連論文リスト
- PRPO: Paragraph-level Policy Optimization for Vision-Language Deepfake Detection [7.944678181646657]
本稿では,ディープフェイク検出のための推論注釈付きデータセットを導入し,ディープフェイク検出のための強化学習アルゴリズムを提案する。
実験の結果、PRPOは検出精度を広いマージンで改善し、推論スコアが4.55/5.0であることがわかった。
これらの結果は、より信頼性が高く、解釈可能なディープフェイク検出を可能にするために、視覚的エビデンスにおけるマルチモーダル推論の基盤となることの重要性を強調している。
論文 参考訳（メタデータ） (2025-09-30T13:56:05Z) - ForenX: Towards Explainable AI-Generated Image Detection with Multimodal Large Language Models [82.04858317800097]
ForenXは画像の真正性を識別するだけでなく、人間の思考に共鳴する説明を提供する新しい手法である。
ForenXは、強力なマルチモーダル大言語モデル(MLLM)を使用して、法医学的な手がかりを分析し、解釈する。
本稿では,AI生成画像における偽証拠の記述専用のデータセットであるForgReasonを紹介する。
論文 参考訳（メタデータ） (2025-08-02T15:21:26Z) - FAME: A Lightweight Spatio-Temporal Network for Model Attribution of Face-Swap Deepfakes [9.462613446025001]
フェイスフェイクのDeepfakeビデオは、デジタルセキュリティ、プライバシー、メディアの整合性へのリスクが高まる。
FAMEは、異なる顔生成モデルに特有の微妙なアーティファクトをキャプチャするために設計されたフレームワークである。
結果は、FAMEが既存のメソッドを精度と実行時の両方で一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-06-13T05:47:09Z) - LLMs Are Not Yet Ready for Deepfake Image Detection [8.364956401923108]
視覚言語モデル(VLM)は、様々な領域にまたがる有望なツールとして登場した。
本研究は, ファスワップ, 再現, 合成生成の3つの主要なディープフェイクタイプに焦点を当てた。
解析の結果、VLMはコヒーレントな説明を生成でき、表面レベルの異常を検出できるが、スタンドアロン検出システムとしてはまだ信頼できないことが示唆された。
論文 参考訳（メタデータ） (2025-06-12T08:27:24Z) - Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳（メタデータ） (2024-10-08T17:59:03Z) - X2-DFD: A framework for eXplainable and eXtendable Deepfake Detection [55.77552681618732]
X2-DFDは、eXplainableおよびeXtendableフレームワークであり、ディープフェイク検出のためのマルチモーダルな多言語モデル(MLLM)に基づいている。
最初の段階であるモデル特徴評価は、MLLMの偽造関係の特徴の検出可能性を体系的に評価する。
2番目のステージであるExplainable dataset Constructionは、Strong Feature StrengtheningとWeak Feature Supplementingの2つの重要なモジュールで構成されている。
3番目のステージであるファインチューニングと推論では、構築されたデータセット上でMLLMを微調整し、最終的な検出と説明のためにデプロイする。
論文 参考訳（メタデータ） (2024-10-08T15:28:33Z) - Conditioned Prompt-Optimization for Continual Deepfake Detection [11.634681724245933]
本稿では,Pmpt2Guardについて紹介する。
我々は,読み出し専用プロンプトを用いた予測アンサンブル手法を活用し,複数のフォワードパスの必要性を軽減した。
提案手法は,ディープフェイク検出に適したテキスト・プロンプト・コンディショニングを利用する。
論文 参考訳（メタデータ） (2024-07-31T12:22:57Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。