論文の概要: PATE-Forensics: Perception-as-Tool for Explainable Deepfake Forensics with General-Purpose MLLMs
- arxiv url: http://arxiv.org/abs/2608.18573v1
- Date: Wed, 19 Aug 2026 06:10:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.300509
- Title: PATE-Forensics: Perception-as-Tool for Explainable Deepfake Forensics with General-Purpose MLLMs
- Title（参考訳）: PATE-forensics:一般目的MLLMを用いた説明可能なDeepfake Forensicsのための知覚型ツール
- Abstract要約: PATE-Forensicsはアーキテクチャ上、説明生成から検出と位置を分離する。
DDL-Xトラック3ではPATE-Forensicsが0.89で2位となり、0.19ポイント差で2位となった。
- 参考スコア（独自算出の注目度）: 27.658161939360202
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Existing explainable deepfake forensic methods typically rely on task-adapted MLLM to jointly address detection, localization, and explanation. Inspired by agent-style tool use, we instead introduce a Perception-as-Tool paradigm and instantiate it as PATE-Forensics, which architecturally decouples detection and localization from explanation generation while coupling detection and localization as tightly as possible within a forensic perception tool. The DINOv3-based tool couples a multi-granularity detection module that integrates global, patch-level, and segment-level evidence with a cue-guided localization module by spatializing the patch-level and segment-level evidence into forgery score maps that guide dense mask prediction. The original image and forensic perception outputs produced by the tool form structured forensic context for a general-purpose MLLM, which is guided by prompt constraints to generate explanations without task-specific fine-tuning. On DDL-X Track 3, PATE-Forensics achieves the best official score of 0.89, outperforming the second-ranked team by 0.19 points. Our code is available at https://github.com/yqli00000/PATE-Forensics.
- Abstract（参考訳）: 既存の説明可能なディープフェイク法は、通常、検出、ローカライゼーション、説明を共同で扱うためにタスク適応MLLMに依存している。
エージェントスタイルのツールの使用に触発されて、Perception-as-Toolパラダイムを導入し、PATE-Forensicsとしてインスタンス化する。
DINOv3ベースのツールは、大域的、パッチレベル、セグメントレベルのエビデンスをキュー誘導のローカライゼーションモジュールと組み合わせ、パッチレベルのエビデンスとセグメントレベルのエビデンスを、密集したマスク予測を導く偽スコアマップに空間化する。
汎用MLLMは,タスク固有の微調整を伴わずに説明文を生成するために,プロンプト制約によって誘導される。
DDL-Xトラック3ではPATE-Forensicsが0.89で2位となり、0.19ポイント差で2位となった。
私たちのコードはhttps://github.com/yqli00000/PATE-Forensics.comから入手可能です。
関連論文リスト
- Evidence-Guided Detection, Localization and Explanation for Text-Centric Image Forensics [5.228601974168999]
AIGCはテキスト中心の画像操作をますますアクセスしやすくしている。
本稿では,ACM Multimedia 2026におけるGenText-Forensics Challengeの解について述べる。
論文 参考訳（メタデータ） (2026-09-02T04:37:32Z) - ForensicsTok: Forensics-Guided Tokenized Modeling for Image Tampering Localization [31.83661814822312]
本稿では,自動回帰シーケンス生成タスクとして画像操作のローカライゼーションを再構成するForensicsTokを提案する。
ForensicsTokは空間的に接地されたトークンシーケンスを直接生成し、中間管理なしで正確なマスク予測を可能にする。
論文 参考訳（メタデータ） (2026-06-23T13:06:18Z) - Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models [51.099179436350376]
マルチモーダルな大言語モデル(MLLM)は、その堅牢な意味理解のために、法医学においてますます採用されている。
本稿では,人工物固有の視覚信号を中間層に残路として注入しながら,初期意味処理を保存するためのDeep Visual Residual MLLM(Deep-VRM)を提案する。
これにより、後続のレイヤは意味論的推論と信号レベルの法医学的手がかりを共同でモデル化することができ、驚くべきことに、モデルが入力に応じて異なるレベルの法医学的信号を適応的に活用することを学ぶ。
論文 参考訳（メタデータ） (2026-06-14T16:05:45Z) - VIGIL: Part-Grounded Structured Reasoning for Generalizable Deepfake Detection [21.13141622396435]
本稿では、専門家の法医学的実践に触発された、部分中心の構造化法医学的枠組みであるVIGILを紹介する。
ステージゲート注入機構は、試験中のみ、部分レベルの法医学的証拠を提供する。
OmniFakeとクロスデータセットの評価実験により、VIGILはエキスパート検出器と同時MLLM法の両方で一貫して性能が向上していることが示された。
論文 参考訳（メタデータ） (2026-03-23T03:35:36Z) - Code-in-the-Loop Forensics: Agentic Tool Use for Image Forgery Detection [59.04089915447622]
ForenAgentはインタラクティブなIFDフレームワークで、MLLMが検出対象に関するPythonベースの低レベルツールを自律的に生成、実行、洗練することができる。
人間の推論にインスパイアされた我々は、グローバルな認識、局所的な焦点、反復的探索、そして全体論的偏見を含む動的推論ループを設計する。
実験の結果,ForenAgent は IFD 課題に対する創発的なツール利用能力と反射的推論を示すことがわかった。
論文 参考訳（メタデータ） (2025-12-18T08:38:44Z) - Propose and Rectify: A Forensics-Driven MLLM Framework for Image Manipulation Localization [49.71303998618939]
本稿では,意味論的推論と法科学的な分析を橋渡しするPropose-Rectifyフレームワークを提案する。
提案手法は,具体的技術実証により,初期セマンティックな提案が体系的に検証され,拡張されることを保証し,包括的検出精度と局所化精度を実現する。
論文 参考訳（メタデータ） (2025-08-25T12:43:53Z) - X2-DFD: A framework for eXplainable and eXtendable Deepfake Detection [55.77552681618732]
X2-DFDは、eXplainableおよびeXtendableフレームワークであり、ディープフェイク検出のためのマルチモーダルな多言語モデル(MLLM)に基づいている。
最初の段階であるモデル特徴評価は、MLLMの偽造関係の特徴の検出可能性を体系的に評価する。
2番目のステージであるExplainable dataset Constructionは、Strong Feature StrengtheningとWeak Feature Supplementingの2つの重要なモジュールで構成されている。
3番目のステージであるファインチューニングと推論では、構築されたデータセット上でMLLMを微調整し、最終的な検出と説明のためにデプロイする。
論文 参考訳（メタデータ） (2024-10-08T15:28:33Z) - Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization [52.87635234206178]
本稿では,多面的操作検出と局所化に適したMoNFAPという新しいフレームワークを提案する。
このフレームワークには2つの新しいモジュールが含まれている: Forgery-aware Unified Predictor (FUP) Module と Mixture-of-Noises Module (MNM)。
論文 参考訳（メタデータ） (2024-08-05T08:35:59Z) - DetToolChain: A New Prompting Paradigm to Unleash Detection Ability of MLLM [81.75988648572347]
DetToolChainはマルチモーダル大言語モデル(MLLM)のゼロショットオブジェクト検出能力を解き放つ新しいパラダイムである。
提案手法は,高精度検出にヒントを得た検出プロンプトツールキットと,これらのプロンプトを実装するための新しいChain-of-Thoughtから構成される。
DetToolChainを用いたGPT-4Vは,オープン語彙検出のための新しいクラスセットにおいて,最先端のオブジェクト検出器を+21.5%AP50で改善することを示す。
論文 参考訳（メタデータ） (2024-03-19T06:54:33Z) - A Tri-Layer Plugin to Improve Occluded Detection [100.99802831241583]
本研究では,2段階物体検出装置の頭部検出のための単純な''モジュールを提案し,部分閉塞物体のリコールを改善する。
モジュールは、ターゲットオブジェクト、オクルーダー、オクラデーのセグメンテーションマスクの三層を予測し、それによってターゲットオブジェクトのマスクをより正確に予測することができる。
また,COCO評価データセットを構築し,部分閉塞オブジェクトと分離オブジェクトのリコール性能を測定した。
論文 参考訳（メタデータ） (2022-10-18T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。