論文の概要: $\textit{X}^2$-DFD: A framework for e${X}$plainable and e${X}$tendable Deepfake Detection

• arxiv url: http://arxiv.org/abs/2410.06126v1
• Date: Tue, 8 Oct 2024 15:28:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 11:00:50.276036
• Title: $\textit{X}^2$-DFD: A framework for e${X}$plainable and e${X}$tendable Deepfake Detection
• Title（参考訳）: $\textit{X}^2$-DFD: e${X}$plainableとe${X}$tendable Deepfake Detectionのためのフレームワーク
• Authors: Yize Chen, Zhiyuan Yan, Siwei Lyu, Baoyuan Wu,
• Abstract要約: 3つのコアモジュールからなる新しいフレームワークX2$-DFDを提案する。 最初のモジュールであるモデル特徴評価(MFA)は、MLLMに固有の偽機能の検出能力を計測し、これらの機能の下位ランキングを提供する。 第2のモジュールであるStrong Feature Strengthening (SFS)は、上位機能に基づいて構築されたデータセット上でMLLMを微調整することで、検出と説明機能を強化する。 第3のモジュールであるWak Feature Supplementing (WFS)は、外部専用の機能を統合することで、低階機能における微調整MLLMの機能を改善する。
• 参考スコア（独自算出の注目度）: 52.14468236527728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting deepfakes has become an important task. Most existing detection methods provide only real/fake predictions without offering human-comprehensible explanations. Recent studies leveraging MLLMs for deepfake detection have shown improvements in explainability. However, the performance of pre-trained MLLMs (e.g., LLaVA) remains limited due to a lack of understanding of their capabilities for this task and strategies to enhance them. In this work, we empirically assess the strengths and weaknesses of MLLMs specifically in deepfake detection via forgery features analysis. Building on these assessments, we propose a novel framework called ${X}^2$-DFD, consisting of three core modules. The first module, Model Feature Assessment (MFA), measures the detection capabilities of forgery features intrinsic to MLLMs, and gives a descending ranking of these features. The second module, Strong Feature Strengthening (SFS), enhances the detection and explanation capabilities by fine-tuning the MLLM on a dataset constructed based on the top-ranked features. The third module, Weak Feature Supplementing (WFS), improves the fine-tuned MLLM's capabilities on lower-ranked features by integrating external dedicated deepfake detectors. To verify the effectiveness of this framework, we further present a practical implementation, where an automated forgery features generation, evaluation, and ranking procedure is designed for MFA module; an automated generation procedure of the fine-tuning dataset containing real and fake images with explanations based on top-ranked features is developed for SFS model; an external conventional deepfake detector focusing on blending artifact, which corresponds to a low detection capability in the pre-trained MLLM, is integrated for WFS module. Experiments show that our approach enhances both detection and explanation performance.
• Abstract（参考訳）: ディープフェイクの検出は重要なタスクとなっている。 既存の検出手法の多くは、人間に理解可能な説明を提供することなく、実際の/偽の予測のみを提供する。 近年, MLLMを用いた深度検出による説明可能性の向上が報告されている。 しかし, MLLM(例えばLLaVA)の性能は, このタスクの能力の欠如や, 強化戦略の欠如により, いまだに限られている。 本研究では, MLLMの強度と弱点を, フォージェリ特徴解析によるディープフェイク検出において実証的に評価する。 これらの評価に基づいて、3つのコアモジュールからなる${X}^2$-DFDという新しいフレームワークを提案する。 最初のモジュールであるモデル特徴評価(MFA)は、MLLMに固有の偽機能の検出能力を計測し、これらの機能の下位ランキングを提供する。 第2のモジュールであるStrong Feature Strengthening (SFS)は、上位機能に基づいて構築されたデータセット上でMLLMを微調整することで、検出と説明機能を強化する。 第3のモジュールであるWak Feature Supplementing (WFS)は、外部の専用のディープフェイク検出器を統合することで、低ランク機能に対する微調整MLLMの機能を改善する。 さらに,本フレームワークの有効性を検証するために,MFAモジュール用の自動偽造画像生成,評価,ランク付け手順を設計し,SFSモデルに対して,上位機能に基づく説明を含む実画像と偽画像を含む微調整データセットの自動生成手順を開発,事前訓練されたMLLMの低検出機能に対応するブレンディングアーティファクトに着目した従来型のディープフェイク検出器をWFSモジュールに統合する,実践的な実装を提案する。 実験の結果,本手法は検出性能と説明性能を両立させることがわかった。

関連論文リスト

• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• HOLA: Enhancing Audio-visual Deepfake Detection via Hierarchical Contextual Aggregations and Efficient Pre-training [17.005718886553865]
  我々は,20251Mディープフェイク検出チャレンジのビデオレベルディープフェイク検出トラックのソリューションであるHOLAを提案する。 一般領域における大規模事前学習の成功に触発されて,マルチモーダルビデオレベルのディープフェイク検出において,まず音声視覚による自己教師付き事前学習をスケールする。 具体的に言うと、HOLAは、選択的な音声・視覚相互作用のための反復的認識型クロスモーダル学習モジュール、局所的・言語的視点下でのゲートアグリゲーションによる階層的コンテキストモデリング、スケール的・認識型クロスグラニュラルなセマンティック拡張のためのピラミッドライクな精細化モジュールを備えている。
  論文  参考訳（メタデータ） (2025-07-30T15:47:12Z)
• AU-LLM: Micro-Expression Action Unit Detection via Enhanced LLM-Based Feature Fusion [26.058143518505805]
  本稿では,微妙な強度とデータ不足を伴うマイクロ圧縮データセットにおけるマイクロ圧縮アクションユニット(AU)の検出にLarge Language Modelsを用いた新しいフレームワークであるtextbfAU-LLMを紹介する。 EFPはMulti-Layer Perceptron(MLP)を用いて、特殊な3D-CNNバックボーンからの中間レベル(局所的なテクスチャ)と高レベル(グローバルなセマンティクス)の視覚的特徴を単一の情報密度トークンにインテリジェントに融合する。
  論文  参考訳（メタデータ） (2025-07-29T13:01:59Z)
• DIP-R1: Deep Inspection and Perception with RL Looking Through and Understanding Complex Scenes [51.895756593200296]
  RL(DIP-R1)を用いた深部検査と知覚は,MLLMの視覚知覚能力を高めるために設計されている。 DIP-R1は、3つのシンプルなルールベースの報酬モデルを通して、MLLMをビジュアルシーンの詳細な検査を通してガイドする。 ドメイン内およびドメイン外のさまざまなシナリオにおいて、一貫性と大幅な改善を実現します。
  論文  参考訳（メタデータ） (2025-05-29T07:16:16Z)
• CFMD: Dynamic Cross-layer Feature Fusion for Salient Object Detection [7.262250906929891]
  クロス層機能ピラミッドネットワーク(CFPN)は,多層機能融合と境界詳細保存において顕著な進歩を遂げている。 これらの課題に対処するために,CFMDという,2つの重要なイノベーションを取り入れた,新しいクロスレイヤ機能ピラミッドネットワークを提案する。 まず,現在最先端のMambaアーキテクチャを組み込んで動的重み分布機構を構築するコンテキスト認識機能集約モジュール(CFLMA)を設計する。 第2に,分解能回復時に空間的詳細を保存する適応動的アップサンプリングユニット(CFLMD)を導入する。
  論文  参考訳（メタデータ） (2025-04-02T03:22:36Z)
• Towards Interactive Deepfake Analysis [40.0271474912034]
  本稿では,マルチモーダル大言語モデル(MLLM)の命令チューニングによる対話型ディープフェイク解析の探索を目的とする。 これらの課題に対処するために,(1)DFA-Instructと呼ばれるインストラクションフォローデータセットを実現するGPT支援データ構築プロセス,(2)DFA-Benchというベンチマーク,(3)DFA-GPTと呼ばれる対話型ディープフェイク分析システムをコミュニティの強力なベースラインとして構築する深度検出・深度分類・アーティファクト記述におけるMLLMの能力を包括的に評価することを目的とした,DFA-Benchというベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-02T09:34:11Z)
• Efficient Feature Aggregation and Scale-Aware Regression for Monocular 3D Object Detection [40.14197775884804]
  MonoASRHは、効率的なハイブリッド特徴集約モジュール(EH-FAM)と適応スケール対応3D回帰ヘッド(ASRH)で構成される新しいモノクル3D検出フレームワークである。 EH-FAMは、小規模オブジェクトのセマンティックな特徴を抽出するために、グローバルな受容領域を持つマルチヘッドアテンションを用いる。 ASRHは2次元境界ボックス次元を符号化し、EH-FAMで集約された意味的特徴とスケール特徴を融合する。
  論文  参考訳（メタデータ） (2024-11-05T02:33:25Z)
• 3DBench: A Scalable 3D Benchmark and Instruction-Tuning Dataset [13.808860456901204]
  3DBenchと呼ばれる大規模命令チューニングデータセットを伴って,スケーラブルな3Dベンチマークを導入する。 具体的には、オブジェクトレベルからシーンレベルまで、幅広い空間的・意味的なスケールにまたがるベンチマークを確立する。 我々は、スケーラブルな3D命令チューニングデータセットを自動構築するための厳格なパイプラインを提案し、合計0.23百万QAペアが生成される10の多様なマルチモーダルタスクをカバーしている。
  論文  参考訳（メタデータ） (2024-04-23T02:06:10Z)
• DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection [111.68263493302499]
  DetCLIPv3は、オープンボキャブラリオブジェクト検出と階層ラベルの両方で優れた高性能検出器である。 DetCLIPv3は,1)Versatileモデルアーキテクチャ,2)高情報密度データ,3)効率的なトレーニング戦略の3つのコア設計によって特徴付けられる。 DetCLIPv3は、GLIPv2, GroundingDINO, DetCLIPv2をそれぞれ18.0/19.6/6 APで上回り、優れたオープン語彙検出性能を示す。
  論文  参考訳（メタデータ） (2024-04-14T11:01:44Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• Fine-Grained Prototypes Distillation for Few-Shot Object Detection [8.795211323408513]
  Few-shot Object Detection (FSOD) は、新しい物体検出のためのジェネリック検出器を、少数の訓練例で拡張することを目的としている。 一般に、メタラーニングに基づく手法は、新しいサンプルをクラスプロトタイプにエンコードするために追加のサポートブランチを使用する。 より堅牢な新しいオブジェクト検出のために、特徴ある局所的コンテキストをキャプチャするためには、新しい方法が必要である。
  論文  参考訳（メタデータ） (2024-01-15T12:12:48Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Multistep feature aggregation framework for salient object detection [0.0]
  本稿では,有能な物体検出のための多段階特徴集約フレームワークを提案する。 Diverse Reception (DR) モジュール、Multiscale Interaction (MSI) モジュール、Feature Enhancement (FE) モジュールの3つのモジュールで構成されている。 6つのベンチマークデータセットの実験結果は、MSFAが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-12T16:13:16Z)
• The Devil is in the Task: Exploiting Reciprocal Appearance-Localization Features for Monocular 3D Object Detection [62.1185839286255]
  低コストのモノクル3D物体検出は、自律運転において基本的な役割を果たす。 DFR-Netという動的特徴反射ネットワークを導入する。 我々は、KITTIテストセットの全ての単分子3D物体検出器の中で、第1位にランク付けする。
  論文  参考訳（メタデータ） (2021-12-28T07:31:18Z)
• Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
  画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。 我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
  論文  参考訳（メタデータ） (2021-01-07T07:33:38Z)
• End-to-End Object Detection with Fully Convolutional Network [71.56728221604158]
  エンドツーエンド検出を実現するために,分類のための予測対応ワン・ツー・ワン (POTO) ラベルの割り当てを導入する。 局所領域における畳み込みの判別性を向上させるために, 簡易な3次元maxフィルタ(3dmf)を提案する。 エンドツーエンドのフレームワークは,COCOおよびCrowdHumanデータセット上のNMSを用いて,最先端の多くの検出器と競合する性能を実現する。
  論文  参考訳（メタデータ） (2020-12-07T09:14:55Z)
• iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
  Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。 IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。 IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2020-06-23T02:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。