論文の概要: X2-DFD: A framework for eXplainable and eXtendable Deepfake Detection

• arxiv url: http://arxiv.org/abs/2410.06126v4
• Date: Thu, 29 May 2025 03:20:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.314744
• Title: X2-DFD: A framework for eXplainable and eXtendable Deepfake Detection
• Title（参考訳）: X2-DFD:eXplainableおよびeXtendable Deepfake Detectionのためのフレームワーク
• Authors: Yize Chen, Zhiyuan Yan, Guangliang Cheng, Kangran Zhao, Siwei Lyu, Baoyuan Wu,
• Abstract要約: X2-DFDは、eXplainableおよびeXtendableフレームワークであり、ディープフェイク検出のためのマルチモーダルな多言語モデル(MLLM)に基づいている。 最初の段階であるモデル特徴評価は、MLLMの偽造関係の特徴の検出可能性を体系的に評価する。 2番目のステージであるExplainable dataset Constructionは、Strong Feature StrengtheningとWeak Feature Supplementingの2つの重要なモジュールで構成されている。 3番目のステージであるファインチューニングと推論では、構築されたデータセット上でMLLMを微調整し、最終的な検出と説明のためにデプロイする。
• 参考スコア（独自算出の注目度）: 55.77552681618732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes X2-DFD, an eXplainable and eXtendable framework based on multimodal large-language models (MLLMs) for deepfake detection, consisting of three key stages. The first stage, Model Feature Assessment, systematically evaluates the detectability of forgery-related features for the MLLM, generating a prioritized ranking of features based on their intrinsic importance to the model. The second stage, Explainable Dataset Construction, consists of two key modules: Strong Feature Strengthening, which is designed to enhance the model's existing detection and explanation capabilities by reinforcing its well-learned features, and Weak Feature Supplementing, which addresses gaps by integrating specific feature detectors (e.g., low-level artifact analyzers) to compensate for the MLLM's limitations. The third stage, Fine-tuning and Inference, involves fine-tuning the MLLM on the constructed dataset and deploying it for final detection and explanation. By integrating these three stages, our approach enhances the MLLM's strengths while supplementing its weaknesses, ultimately improving both the detectability and explainability. Extensive experiments and ablations, followed by a comprehensive human study, validate the improved performance of our approach compared to the original MLLMs. More encouragingly, our framework is designed to be plug-and-play, allowing it to seamlessly integrate with future more advanced MLLMs and specific feature detectors, leading to continual improvement and extension to face the challenges of rapidly evolving deepfakes.
• Abstract（参考訳）: 本稿では,eXplainableおよびeXtendableフレームワークであるX2-DFDを提案する。 第1段階であるモデル特徴評価は、MLLMの偽造関連特徴の検出可能性を体系的に評価し、モデル固有の重要性に基づいて特徴の優先順位付けを生成する。 2つ目のステージであるExplainable Dataset Constructionは、2つの重要なモジュールで構成されている: 強力な特徴強化(Strong Feature Strengthening)は、十分に学習された特徴を強化することでモデルの既存の検出と説明機能を強化するために設計されたもので、また、特定の特徴検出器(例えば、低レベルのアーティファクトアナライザ)を統合してMLLMの制限を補うことでギャップに対処するWeak Feature Supplementing(Wak Feature Supplementing)である。 3番目のステージであるファインチューニングと推論では、構築されたデータセット上でMLLMを微調整し、最終的な検出と説明のためにデプロイする。 これら3つの段階を統合することで,MLLMの強度を向上し,弱点を補うとともに,最終的に検出可能性と説明可能性の両方を改善した。 大規模な実験と改善,続いて総合的な人間による研究により,従来のMLLMと比較して,我々のアプローチの性能改善が検証された。 より奨励的に、我々のフレームワークはプラグアンドプレイで設計されており、将来のより高度なMLLMや特定の特徴検出器とシームレスに統合でき、急速に進化するディープフェイクの課題に直面する継続的な改善と拡張につながります。

関連論文リスト

• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• HOLA: Enhancing Audio-visual Deepfake Detection via Hierarchical Contextual Aggregations and Efficient Pre-training [17.005718886553865]
  我々は,20251Mディープフェイク検出チャレンジのビデオレベルディープフェイク検出トラックのソリューションであるHOLAを提案する。 一般領域における大規模事前学習の成功に触発されて,マルチモーダルビデオレベルのディープフェイク検出において,まず音声視覚による自己教師付き事前学習をスケールする。 具体的に言うと、HOLAは、選択的な音声・視覚相互作用のための反復的認識型クロスモーダル学習モジュール、局所的・言語的視点下でのゲートアグリゲーションによる階層的コンテキストモデリング、スケール的・認識型クロスグラニュラルなセマンティック拡張のためのピラミッドライクな精細化モジュールを備えている。
  論文  参考訳（メタデータ） (2025-07-30T15:47:12Z)
• AU-LLM: Micro-Expression Action Unit Detection via Enhanced LLM-Based Feature Fusion [26.058143518505805]
  本稿では,微妙な強度とデータ不足を伴うマイクロ圧縮データセットにおけるマイクロ圧縮アクションユニット(AU)の検出にLarge Language Modelsを用いた新しいフレームワークであるtextbfAU-LLMを紹介する。 EFPはMulti-Layer Perceptron(MLP)を用いて、特殊な3D-CNNバックボーンからの中間レベル(局所的なテクスチャ)と高レベル(グローバルなセマンティクス)の視覚的特徴を単一の情報密度トークンにインテリジェントに融合する。
  論文  参考訳（メタデータ） (2025-07-29T13:01:59Z)
• DIP-R1: Deep Inspection and Perception with RL Looking Through and Understanding Complex Scenes [51.895756593200296]
  RL(DIP-R1)を用いた深部検査と知覚は,MLLMの視覚知覚能力を高めるために設計されている。 DIP-R1は、3つのシンプルなルールベースの報酬モデルを通して、MLLMをビジュアルシーンの詳細な検査を通してガイドする。 ドメイン内およびドメイン外のさまざまなシナリオにおいて、一貫性と大幅な改善を実現します。
  論文  参考訳（メタデータ） (2025-05-29T07:16:16Z)
• CFMD: Dynamic Cross-layer Feature Fusion for Salient Object Detection [7.262250906929891]
  クロス層機能ピラミッドネットワーク(CFPN)は,多層機能融合と境界詳細保存において顕著な進歩を遂げている。 これらの課題に対処するために,CFMDという,2つの重要なイノベーションを取り入れた,新しいクロスレイヤ機能ピラミッドネットワークを提案する。 まず,現在最先端のMambaアーキテクチャを組み込んで動的重み分布機構を構築するコンテキスト認識機能集約モジュール(CFLMA)を設計する。 第2に,分解能回復時に空間的詳細を保存する適応動的アップサンプリングユニット(CFLMD)を導入する。
  論文  参考訳（メタデータ） (2025-04-02T03:22:36Z)
• Towards Interactive Deepfake Analysis [40.0271474912034]
  本稿では,マルチモーダル大言語モデル(MLLM)の命令チューニングによる対話型ディープフェイク解析の探索を目的とする。 これらの課題に対処するために,(1)DFA-Instructと呼ばれるインストラクションフォローデータセットを実現するGPT支援データ構築プロセス,(2)DFA-Benchというベンチマーク,(3)DFA-GPTと呼ばれる対話型ディープフェイク分析システムをコミュニティの強力なベースラインとして構築する深度検出・深度分類・アーティファクト記述におけるMLLMの能力を包括的に評価することを目的とした,DFA-Benchというベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-02T09:34:11Z)
• Efficient Feature Aggregation and Scale-Aware Regression for Monocular 3D Object Detection [40.14197775884804]
  MonoASRHは、効率的なハイブリッド特徴集約モジュール(EH-FAM)と適応スケール対応3D回帰ヘッド(ASRH)で構成される新しいモノクル3D検出フレームワークである。 EH-FAMは、小規模オブジェクトのセマンティックな特徴を抽出するために、グローバルな受容領域を持つマルチヘッドアテンションを用いる。 ASRHは2次元境界ボックス次元を符号化し、EH-FAMで集約された意味的特徴とスケール特徴を融合する。
  論文  参考訳（メタデータ） (2024-11-05T02:33:25Z)
• 3DBench: A Scalable 3D Benchmark and Instruction-Tuning Dataset [13.808860456901204]
  3DBenchと呼ばれる大規模命令チューニングデータセットを伴って,スケーラブルな3Dベンチマークを導入する。 具体的には、オブジェクトレベルからシーンレベルまで、幅広い空間的・意味的なスケールにまたがるベンチマークを確立する。 我々は、スケーラブルな3D命令チューニングデータセットを自動構築するための厳格なパイプラインを提案し、合計0.23百万QAペアが生成される10の多様なマルチモーダルタスクをカバーしている。
  論文  参考訳（メタデータ） (2024-04-23T02:06:10Z)
• DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection [111.68263493302499]
  DetCLIPv3は、オープンボキャブラリオブジェクト検出と階層ラベルの両方で優れた高性能検出器である。 DetCLIPv3は,1)Versatileモデルアーキテクチャ,2)高情報密度データ,3)効率的なトレーニング戦略の3つのコア設計によって特徴付けられる。 DetCLIPv3は、GLIPv2, GroundingDINO, DetCLIPv2をそれぞれ18.0/19.6/6 APで上回り、優れたオープン語彙検出性能を示す。
  論文  参考訳（メタデータ） (2024-04-14T11:01:44Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• Fine-Grained Prototypes Distillation for Few-Shot Object Detection [8.795211323408513]
  Few-shot Object Detection (FSOD) は、新しい物体検出のためのジェネリック検出器を、少数の訓練例で拡張することを目的としている。 一般に、メタラーニングに基づく手法は、新しいサンプルをクラスプロトタイプにエンコードするために追加のサポートブランチを使用する。 より堅牢な新しいオブジェクト検出のために、特徴ある局所的コンテキストをキャプチャするためには、新しい方法が必要である。
  論文  参考訳（メタデータ） (2024-01-15T12:12:48Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Multistep feature aggregation framework for salient object detection [0.0]
  本稿では,有能な物体検出のための多段階特徴集約フレームワークを提案する。 Diverse Reception (DR) モジュール、Multiscale Interaction (MSI) モジュール、Feature Enhancement (FE) モジュールの3つのモジュールで構成されている。 6つのベンチマークデータセットの実験結果は、MSFAが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-12T16:13:16Z)
• The Devil is in the Task: Exploiting Reciprocal Appearance-Localization Features for Monocular 3D Object Detection [62.1185839286255]
  低コストのモノクル3D物体検出は、自律運転において基本的な役割を果たす。 DFR-Netという動的特徴反射ネットワークを導入する。 我々は、KITTIテストセットの全ての単分子3D物体検出器の中で、第1位にランク付けする。
  論文  参考訳（メタデータ） (2021-12-28T07:31:18Z)
• Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
  画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。 我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
  論文  参考訳（メタデータ） (2021-01-07T07:33:38Z)
• End-to-End Object Detection with Fully Convolutional Network [71.56728221604158]
  エンドツーエンド検出を実現するために,分類のための予測対応ワン・ツー・ワン (POTO) ラベルの割り当てを導入する。 局所領域における畳み込みの判別性を向上させるために, 簡易な3次元maxフィルタ(3dmf)を提案する。 エンドツーエンドのフレームワークは,COCOおよびCrowdHumanデータセット上のNMSを用いて,最先端の多くの検出器と競合する性能を実現する。
  論文  参考訳（メタデータ） (2020-12-07T09:14:55Z)
• iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
  Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。 IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。 IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2020-06-23T02:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。