論文の概要: GLFF: Global and Local Feature Fusion for Face Forgery Detection

• arxiv url: http://arxiv.org/abs/2211.08615v2
• Date: Thu, 17 Nov 2022 20:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 14:52:03.590131
• Title: GLFF: Global and Local Feature Fusion for Face Forgery Detection
• Title（参考訳）: GLFF:顔偽造検出のためのグローバル・ローカル機能融合
• Authors: Yan Ju, Shan Jia, Jialing Cai, Haiying Guan, Siwei Lyu
• Abstract要約: 顔偽造検出のための情報パッチから,多大のグローバル特徴と改良されたローカル特徴を組み合わせることで,リッチで差別的な表現を学習するためのグローバル・ローカル特徴融合(GLFF)を提案する。 GLFFは、マルチスケールの意味的特徴を抽出するグローバルブランチと、詳細なローカルアーティファクト抽出のための情報パッチを選択するローカルブランチの2つのブランチから情報を抽出する。 評価のための実世界のアプリケーションをシミュレートするフェイスフォージェリデータセットが欠如しているため、我々はさらに、DeepFakeFaceForensics (DF3)という名前の挑戦的なフェイスフォージェリデータセットを作成します。
• 参考スコア（独自算出の注目度）: 29.60351736435313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of deep generative models (such as Generative Adversarial Networks and Auto-encoders), AI-synthesized images of the human face are now of such high quality that humans can hardly distinguish them from pristine ones. Although existing detection methods have shown high performance in specific evaluation settings, e.g., on images from seen models or on images without real-world post-processings, they tend to suffer serious performance degradation in real-world scenarios where testing images can be generated by more powerful generation models or combined with various post-processing operations. To address this issue, we propose a Global and Local Feature Fusion (GLFF) to learn rich and discriminative representations by combining multi-scale global features from the whole image with refined local features from informative patches for face forgery detection. GLFF fuses information from two branches: the global branch to extract multi-scale semantic features and the local branch to select informative patches for detailed local artifacts extraction. Due to the lack of a face forgery dataset simulating real-world applications for evaluation, we further create a challenging face forgery dataset, named DeepFakeFaceForensics (DF^3), which contains 6 state-of-the-art generation models and a variety of post-processing techniques to approach the real-world scenarios. Experimental results demonstrate the superiority of our method to the state-of-the-art methods on the proposed DF^3 dataset and three other open-source datasets.
• Abstract（参考訳）: 複雑な生成モデル(ジェネレーティブ・アドバーサリアル・ネットワークやオート・エンコーダなど)の急速な発展に伴い、人間の顔のAI合成画像は質が高くなり、人間は原始的なものと区別することができない。 既存の検出手法は、例えば実世界のポストプロセッシングなしで見たモデルや画像の特定の評価設定で高い性能を示してきたが、より強力な世代モデルや様々なポストプロセッシング操作によってテスト画像が生成される現実のシナリオでは、深刻なパフォーマンス劣化に悩まされる傾向にある。 そこで本研究では,画像全体から多スケールのグローバル特徴と,顔偽造検出のための情報パッチから洗練された局所特徴を組み合わせることで,リッチで判別的な表現を学習するグローバル・ローカル特徴融合(glff)を提案する。 GLFFは2つのブランチから情報を抽出するグローバルブランチと、詳細なローカルアーティファクト抽出のための情報パッチを選択するローカルブランチである。 実世界のアプリケーションの評価をシミュレートするface forgeryデータセットが欠如していることから、deepfakefaceforensics(df^3)と呼ばれる、実世界のシナリオにアプローチするためのさまざまな後処理技術を含む、挑戦的なface forgeryデータセットを更に作成する。 実験により,提案したDF^3データセットおよび他の3つのオープンソースデータセットの最先端手法に対する本手法の優位性を示した。

関連論文リスト

• BD-Diff: Generative Diffusion Model for Image Deblurring on Unknown Domains with Blur-Decoupled Learning [55.21345354747609]
  BD-Diffは、未知の領域における劣化性能を高めるために設計された生成拡散モデルである。 構造表現とぼやけたパターン抽出器に2つのQ-Formerを別々に採用する。 構造的特徴とぼやけたパターンを補完する再構成タスクを導入する。
  論文  参考訳（メタデータ） (2025-02-03T17:00:40Z)
• HFMF: Hierarchical Fusion Meets Multi-Stream Models for Deepfake Detection [4.908389661988192]
  HFMFは総合的な2段階のディープフェイク検出フレームワークである。 視覚変換器と畳み込みネットを階層的特徴融合機構を通じて統合する。 私たちのアーキテクチャは、多様なデータセットベンチマークで優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2025-01-10T00:20:29Z)
• Detecting the Undetectable: Combining Kolmogorov-Arnold Networks and MLP for AI-Generated Image Detection [0.0]
  本稿では,最先端な生成AIモデルによって生成された画像の堅牢な識別が可能な,新しい検出フレームワークを提案する。 従来の多層パーセプトロン(MLP)とセマンティックイメージ埋め込みを統合した分類システムを提案する。
  論文  参考訳（メタデータ） (2024-08-18T06:00:36Z)
• Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
  Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。 CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
  論文  参考訳（メタデータ） (2024-07-29T18:00:10Z)
• GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
  フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。 公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。 我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
  論文  参考訳（メタデータ） (2024-02-03T03:13:50Z)
• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• Pixel-Inconsistency Modeling for Image Manipulation Localization [59.968362815126326]
  デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。 本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。 実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
  論文  参考訳（メタデータ） (2023-09-30T02:54:51Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Fusing Global and Local Features for Generalized AI-Synthesized Image Detection [31.35052580048599]
  画像全体からのグローバル空間情報と,新しいパッチ選択モジュールによって選択されたパッチからの局所的な情報的特徴を結合する2分岐モデルを設計する。 さまざまなオブジェクトと解像度を持つ19のモデルで合成された非常に多様なデータセットを収集し、モデルを評価する。
  論文  参考訳（メタデータ） (2022-03-26T01:55:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。