論文の概要: VIGIL: Part-Grounded Structured Reasoning for Generalizable Deepfake Detection
- arxiv url: http://arxiv.org/abs/2603.21526v1
- Date: Mon, 23 Mar 2026 03:35:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.464916
- Title: VIGIL: Part-Grounded Structured Reasoning for Generalizable Deepfake Detection
- Title(参考訳): VIGIL: 一般化可能なディープフェイク検出のための部分集合構造推論
- Abstract要約: 本稿では、専門家の法医学的実践に触発された、部分中心の構造化法医学的枠組みであるVIGILを紹介する。
ステージゲート注入機構は、試験中のみ、部分レベルの法医学的証拠を提供する。
OmniFakeとクロスデータセットの評価実験により、VIGILはエキスパート検出器と同時MLLM法の両方で一貫して性能が向上していることが示された。
- 参考スコア(独自算出の注目度): 21.13141622396435
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) offer a promising path toward interpretable deepfake detection by generating textual explanations. However, the reasoning process of current MLLM-based methods combines evidence generation and manipulation localization into a unified step. This combination blurs the boundary between faithful observations and hallucinated explanations, leading to unreliable conclusions. Building on this, we present VIGIL, a part-centric structured forensic framework inspired by expert forensic practice through a plan-then-examine pipeline: the model first plans which facial parts warrant inspection based on global visual cues, then examines each part with independently sourced forensic evidence. A stage-gated injection mechanism delivers part-level forensic evidence only during examination, ensuring that part selection remains driven by the model's own perception rather than biased by external signals. We further propose a progressive three-stage training paradigm whose reinforcement learning stage employs part-aware rewards to enforce anatomical validity and evidence--conclusion coherence. To enable rigorous generalizability evaluation, we construct OmniFake, a hierarchical 5-Level benchmark where the model, trained on only three foundational generators, is progressively tested up to in-the-wild social-media data. Extensive experiments on OmniFake and cross-dataset evaluations demonstrate that VIGIL consistently outperforms both expert detectors and concurrent MLLM-based methods across all generalizability levels.
- Abstract(参考訳): MLLM(Multimodal large language model)は、テキストによる説明を生成することによって、解釈可能なディープフェイク検出への有望な経路を提供する。
しかし、現在のMLLM手法の推論プロセスはエビデンス生成と局所化の操作を統一的なステップに組み合わせている。
この組み合わせは、忠実な観察と幻覚的な説明の境界を曖昧にし、信頼できない結論をもたらす。
そこで我々は,まず,グローバルな視覚的手がかりに基づいて顔部が検査を保証するモデルをまず計画し,それぞれを独立した根拠で調査する。
段階限定注入機構は、検査中のみ部分レベルの法医学的証拠を提供し、外部信号に偏らされるのではなく、モデル自身の知覚によって部分選択が継続されることを保証する。
さらに、強化学習段階において、解剖学的妥当性とエビデンス(エビデンス)・コヒーレンス(コヒーレンス)を強制するために、部分認識報酬を用いる進歩的な3段階訓練パラダイムを提案する。
厳密な一般化性評価を実現するため,階層型5レベルベンチマークであるOmniFakeを構築した。
OmniFakeとクロスデータセットの評価に関する大規模な実験は、VIGILがすべての一般化可能性レベルにわたって、専門家検出器と同時MLLMベースの手法の両方を一貫して上回っていることを示している。
関連論文リスト
- Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild [49.77540427384148]
本稿では,基礎モデルの汎用的マルチモーダル推論能力を野生でのHOI検出に伝達する,訓練不要なエージェント型フレームワークであるAgenHoIを提案する。
不完全な相互作用発見と複雑な場面におけるあいまいな局所化の課題に対処するために,2つの重要なメカニズムを導入する。
AgentHOIは、リアルタイム設定において、最先端の教師付きおよび弱教師付きメソッドよりも優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-07-15T14:30:20Z) - Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models [51.099179436350376]
マルチモーダルな大言語モデル(MLLM)は、その堅牢な意味理解のために、法医学においてますます採用されている。
本稿では,人工物固有の視覚信号を中間層に残路として注入しながら,初期意味処理を保存するためのDeep Visual Residual MLLM(Deep-VRM)を提案する。
これにより、後続のレイヤは意味論的推論と信号レベルの法医学的手がかりを共同でモデル化することができ、驚くべきことに、モデルが入力に応じて異なるレベルの法医学的信号を適応的に活用することを学ぶ。
論文 参考訳(メタデータ) (2026-06-14T16:05:45Z) - MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。
本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。
本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
論文 参考訳(メタデータ) (2026-04-25T14:15:05Z) - Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である
本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
論文 参考訳(メタデータ) (2026-03-05T18:42:51Z) - Generative Human-Object Interaction Detection via Differentiable Cognitive Steering of Multi-modal LLMs [85.69785384599827]
人間と物体の相互作用(Human-object Interaction、HOI)の検出は、人と物体のペアとそれらの相互作用を局在させることを目的としている。
既存のメソッドはクローズドワールドの仮定の下で動作し、タスクを未定義の小さな動詞集合上の分類問題として扱う。
本稿では,閉集合分類タスクから開語彙生成問題へのHOI検出を再構成する新しい生成推論・ステアブル知覚フレームワークGRASP-HOを提案する。
論文 参考訳(メタデータ) (2025-12-19T14:41:50Z) - TriDF: Evaluating Perception, Detection, and Hallucination for Interpretable DeepFake Detection [28.635829897413416]
TriDFはDeepFake検出の解釈可能なベンチマークである。
本稿では,DeepFake検出のための総合的なベンチマークであるTriDFを紹介する。
論文 参考訳(メタデータ) (2025-12-11T14:01:01Z) - Towards Unification of Hallucination Detection and Fact Verification for Large Language Models [31.407333541614296]
大規模言語モデル(LLM)は、しばしば幻覚を示し、流動的に見えるコンテンツを生成するが、実際には正しくない。
この課題に対処するために、モデル中心の幻覚検出(HD)とテキスト中心のFact Verification(FV)という、2つの異なる研究パラダイムが登場した。
我々は,FVとHDの直接,インスタンスレベルの比較を可能にする統一評価フレームワークUniFactを紹介する。
論文 参考訳(メタデータ) (2025-12-02T13:51:01Z) - A Tale of Two Experts: Cooperative Learning for Source-Free Unsupervised Domain Adaptation [59.88864205383671]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、ソースデータにアクセスすることなく、ターゲットドメインにソース学習モデルを適用するという現実的な課題に対処する。
既存のSFUDA手法は、ソースモデルの予測のみを利用するか、大きなマルチモーダルモデルを微調整する。
本稿では、補完的な洞察と対象データの潜在構造を利用するためのエキスパート協調学習(EXCL)を提案する。
論文 参考訳(メタデータ) (2025-09-26T11:39:50Z) - Veritas: Generalizable Deepfake Detection via Pattern-Aware Reasoning [45.99344620383706]
階層的な一般化テストで現実の課題をシミュレートするデータセットであるHydraFakeを紹介する。
具体的には、HydraFakeは、厳格なトレーニングと評価のプロトコルとともに、多種多様なディープフェイク技術と、ワイルドなフォージェリーを含んでいる。
We propose Veritas, a multi-modal large language model (MLLM) based Deepfake detector。
論文 参考訳(メタデータ) (2025-08-28T17:53:05Z) - Propose and Rectify: A Forensics-Driven MLLM Framework for Image Manipulation Localization [49.71303998618939]
本稿では,意味論的推論と法科学的な分析を橋渡しするPropose-Rectifyフレームワークを提案する。
提案手法は,具体的技術実証により,初期セマンティックな提案が体系的に検証され,拡張されることを保証し,包括的検出精度と局所化精度を実現する。
論文 参考訳(メタデータ) (2025-08-25T12:43:53Z) - LLMs Are Not Yet Ready for Deepfake Image Detection [8.364956401923108]
視覚言語モデル(VLM)は、様々な領域にまたがる有望なツールとして登場した。
本研究は, ファスワップ, 再現, 合成生成の3つの主要なディープフェイクタイプに焦点を当てた。
解析の結果、VLMはコヒーレントな説明を生成でき、表面レベルの異常を検出できるが、スタンドアロン検出システムとしてはまだ信頼できないことが示唆された。
論文 参考訳(メタデータ) (2025-06-12T08:27:24Z) - X2-DFD: A framework for eXplainable and eXtendable Deepfake Detection [55.77552681618732]
X2-DFDは、eXplainableおよびeXtendableフレームワークであり、ディープフェイク検出のためのマルチモーダルな多言語モデル(MLLM)に基づいている。
最初の段階であるモデル特徴評価は、MLLMの偽造関係の特徴の検出可能性を体系的に評価する。
2番目のステージであるExplainable dataset Constructionは、Strong Feature StrengtheningとWeak Feature Supplementingの2つの重要なモジュールで構成されている。
3番目のステージであるファインチューニングと推論では、構築されたデータセット上でMLLMを微調整し、最終的な検出と説明のためにデプロイする。
論文 参考訳(メタデータ) (2024-10-08T15:28:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。