論文の概要: HFMF: Hierarchical Fusion Meets Multi-Stream Models for Deepfake Detection

• arxiv url: http://arxiv.org/abs/2501.05631v1
• Date: Fri, 10 Jan 2025 00:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:27:34.546495
• Title: HFMF: Hierarchical Fusion Meets Multi-Stream Models for Deepfake Detection
• Title（参考訳）: HFMF:階層型フュージョンはディープフェイク検出のためのマルチストリームモデルと出会う
• Authors: Anant Mehta, Bryant McArthur, Nagarjuna Kolloju, Zhengzhong Tu,
• Abstract要約: HFMFは総合的な2段階のディープフェイク検出フレームワークである。 視覚変換器と畳み込みネットを階層的特徴融合機構を通じて統合する。 私たちのアーキテクチャは、多様なデータセットベンチマークで優れたパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 4.908389661988192
• License:
• Abstract: The rapid progress in deep generative models has led to the creation of incredibly realistic synthetic images that are becoming increasingly difficult to distinguish from real-world data. The widespread use of Variational Models, Diffusion Models, and Generative Adversarial Networks has made it easier to generate convincing fake images and videos, which poses significant challenges for detecting and mitigating the spread of misinformation. As a result, developing effective methods for detecting AI-generated fakes has become a pressing concern. In our research, we propose HFMF, a comprehensive two-stage deepfake detection framework that leverages both hierarchical cross-modal feature fusion and multi-stream feature extraction to enhance detection performance against imagery produced by state-of-the-art generative AI models. The first component of our approach integrates vision Transformers and convolutional nets through a hierarchical feature fusion mechanism. The second component of our framework combines object-level information and a fine-tuned convolutional net model. We then fuse the outputs from both components via an ensemble deep neural net, enabling robust classification performances. We demonstrate that our architecture achieves superior performance across diverse dataset benchmarks while maintaining calibration and interoperability.
• Abstract（参考訳）: 深層生成モデルの急速な進歩は、現実世界のデータと区別するのがますます難しくなっている、信じられないほどリアルな合成画像の作成につながっている。 変分モデル、拡散モデル、生成逆数ネットワークの普及により、疑わしい偽画像やビデオの作成が容易になり、誤情報の拡散を検知し緩和する上で大きな課題が生じる。 その結果,AIによって生成された偽物を検出する効果的な方法の開発が懸念されている。 本研究では,階層型クロスモーダル特徴融合とマルチストリーム特徴抽出を併用して,最先端のAIモデルによって生成された画像に対する検出性能を向上させる,総合的な2段階のディープフェイク検出フレームワークであるHFMFを提案する。 このアプローチの最初のコンポーネントは、階層的な特徴融合機構を通じて、視覚変換器と畳み込み網を統合します。 フレームワークの第2のコンポーネントは、オブジェクトレベルの情報と微調整された畳み込みネットモデルを組み合わせたものです。 次に、アンサンブルディープニューラルネットワークを介して両方のコンポーネントからの出力を融合し、堅牢な分類性能を実現する。 私たちのアーキテクチャは、キャリブレーションと相互運用性を維持しながら、さまざまなデータセットベンチマークで優れたパフォーマンスを実現しています。

関連論文リスト

• HyperDet: Generalizable Detection of Synthesized Images by Generating and Merging A Mixture of Hyper LoRAs [17.88153857572688]
  我々はHyperDetと呼ばれる新しい、一般化可能な検出フレームワークを紹介した。 本研究では,画素とセマンティックアーティファクトを効果的にバランスさせる目的関数を提案する。 我々の研究は、事前訓練された大きな視覚モデルに基づいて、一般化可能なドメイン固有の偽画像検出器を確立する新しい方法である。
  論文  参考訳（メタデータ） (2024-10-08T13:43:01Z)
• Straight Through Gumbel Softmax Estimator based Bimodal Neural Architecture Search for Audio-Visual Deepfake Detection [6.367999777464464]
  マルチモーダルディープフェイク検出器は 従来の融合法に依存している 多数決ルールや アンサンブル投票など 本稿では,マルチモーダル融合モデルアーキテクチャを検索するための包括的アプローチを提供する,Straight-through Gumbel-Softmaxフレームワークを提案する。 FakeAVCelebとSWAN-DFデータセットの実験では、最小のモデルパラメータでAUCの94.4%が達成された。
  論文  参考訳（メタデータ） (2024-06-19T09:26:22Z)
• Robust CLIP-Based Detector for Exposing Diffusion Model-Generated Images [13.089550724738436]
  拡散モデル(DM)は画像生成に革命をもたらし、様々な分野にまたがる高品質な画像を生成する。 超現実的画像を作成する能力は、現実的コンテンツと合成的コンテンツを区別する上で大きな課題となる。 この研究は、CLIPモデルによって抽出された画像とテキストの特徴をMLP(Multilayer Perceptron)分類器と統合する堅牢な検出フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-04-19T14:30:41Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
  フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。 公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。 我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
  論文  参考訳（メタデータ） (2024-02-03T03:13:50Z)
• A Dual Attentive Generative Adversarial Network for Remote Sensing Image Change Detection [6.906936669510404]
  本稿では,高分解能なリモートセンシング画像変化検出タスクを実現するために,二重注意生成対向ネットワークを提案する。 DAGANフレームワークは、85.01%がIoU、91.48%がF1スコアであり、LEVIRデータセットの先進的な手法よりもパフォーマンスが良い。
  論文  参考訳（メタデータ） (2023-10-03T08:26:27Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• GLFF: Global and Local Feature Fusion for AI-synthesized Image Detection [29.118321046339656]
  画像全体から複数スケールのグローバルな特徴と、AI合成画像検出のための情報パッチからの洗練されたローカル特徴を組み合わせることで、リッチで差別的な表現を学習するフレームワークを提案する。 GLFFは、マルチスケールの意味的特徴を抽出するグローバルブランチと、詳細なローカルアーティファクト抽出のための情報パッチを選択するローカルブランチの2つのブランチから情報を抽出する。
  論文  参考訳（メタデータ） (2022-11-16T02:03:20Z)
• MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
  マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。 人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。 本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-24T17:48:04Z)
• M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
  Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。 本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。 最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
  論文  参考訳（メタデータ） (2021-04-20T05:43:44Z)
• High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
  本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。 提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。 単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
  論文  参考訳（メタデータ） (2020-01-13T14:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。