論文の概要: A Large-scale Interpretable Multi-modality Benchmark for Facial Image Forgery Localization

• arxiv url: http://arxiv.org/abs/2412.19685v1
• Date: Fri, 27 Dec 2024 15:23:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:28:45.138258
• Title: A Large-scale Interpretable Multi-modality Benchmark for Facial Image Forgery Localization
• Title（参考訳）: 顔画像の偽位置推定のための大規模解釈可能なマルチモーダリティベンチマーク
• Authors: Jingchun Lian, Lingyu Liu, Yaxiong Wang, Yujiao Wu, Li Zhu, Zhedong Zheng,
• Abstract要約: 我々は、モデル予測を説明するのに基本的なバイナリフォージェリーマスクが不十分であると主張している。 本研究では,偽画像に対する有能な領域中心の解釈を生成する。 ForgeryTalkerは,フォージェリーローカライゼーションと解釈を同時に行うように設計されたアーキテクチャである。
• 参考スコア（独自算出の注目度）: 22.725542948364357
• License:
• Abstract: Image forgery localization, which centers on identifying tampered pixels within an image, has seen significant advancements. Traditional approaches often model this challenge as a variant of image segmentation, treating the binary segmentation of forged areas as the end product. We argue that the basic binary forgery mask is inadequate for explaining model predictions. It doesn't clarify why the model pinpoints certain areas and treats all forged pixels the same, making it hard to spot the most fake-looking parts. In this study, we mitigate the aforementioned limitations by generating salient region-focused interpretation for the forgery images. To support this, we craft a Multi-Modal Tramper Tracing (MMTT) dataset, comprising facial images manipulated using deepfake techniques and paired with manual, interpretable textual annotations. To harvest high-quality annotation, annotators are instructed to meticulously observe the manipulated images and articulate the typical characteristics of the forgery regions. Subsequently, we collect a dataset of 128,303 image-text pairs. Leveraging the MMTT dataset, we develop ForgeryTalker, an architecture designed for concurrent forgery localization and interpretation. ForgeryTalker first trains a forgery prompter network to identify the pivotal clues within the explanatory text. Subsequently, the region prompter is incorporated into multimodal large language model for finetuning to achieve the dual goals of localization and interpretation. Extensive experiments conducted on the MMTT dataset verify the superior performance of our proposed model. The dataset, code as well as pretrained checkpoints will be made publicly available to facilitate further research and ensure the reproducibility of our results.
• Abstract（参考訳）: 画像内の改ざん画素を識別するイメージフォージェリローカライゼーションは、大きな進歩を遂げている。 従来のアプローチでは、この課題をイメージセグメンテーションの変種としてモデル化し、鍛造領域のバイナリセグメンテーションを最終積として扱うことが多かった。 我々は、モデル予測を説明するのに基本的なバイナリフォージェリーマスクが不十分であると主張している。 なぜこのモデルが特定の領域をピンポイントし、すべての偽のピクセルを同じに扱うのかは明らかになっていないので、最も偽の部品を見つけるのが難しくなっています。 本研究では,前述した制約を,偽画像に対する適切な領域中心の解釈を生成することによって緩和する。 これを支援するために、ディープフェイク技術を用いて操作し、手動で解釈可能なテキストアノテーションと組み合わせた顔画像からなるMMTTデータセットを構築した。 高品質なアノテーションを収穫するために、アノテーションには、操作された画像を注意深く観察し、偽領域の典型的特徴を明確化するよう指示される。 その後、128,303枚の画像テキストペアのデータセットを収集する。 MMTTデータセットを活用することで,ForgeryTalkerを開発した。 ForgeryTalkerはまず、説明文の中の重要な手がかりを特定するために、偽プロンプトネットワークを訓練する。 その後、領域プロンプトをマルチモーダルな大規模言語モデルに組み込んで、局所化と解釈という2つの目標を達成する。 MMTTデータセットを用いた大規模な実験により,提案モデルの有効性が検証された。 データセット、コード、および事前訓練されたチェックポイントは、さらなる研究を促進し、結果の再現性を確保するために公開されます。

関連論文リスト

• Debiasing Vison-Language Models with Text-Only Training [15.069736314663352]
  視覚バイアスを軽減するために,テキスト・アズ・イメージ・トレーニング・パラダイムを活用するTODというテキスト・オン・デバイアス・フレームワークを提案する。 そこで本研究では,テキスト・アズ・イメージ・トレーニングのパラダイムを活用し,視覚バイアスを緩和するテキスト・オン・デバイアス化フレームワークTODを提案する。
  論文  参考訳（メタデータ） (2024-10-12T04:34:46Z)
• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation [81.45400849638347]
  In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。 本稿では,4つのモジュールからなるエンドツーエンドIIMTモデルを提案する。 本モデルでは,70.9%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-03T08:15:39Z)
• Exploring Multi-view Pixel Contrast for General and Robust Image Forgery Localization [4.8454936010479335]
  本稿では,画像フォージェリーローカライゼーションのための多視点Pixel-wise Contrastive Algorithm (MPC)を提案する。 具体的には、まず、教師付きコントラスト損失を伴うバックボーンネットワークを事前訓練する。 次に、クロスエントロピー損失を用いてローカライゼーションヘッドを微調整し、ピクセルローカライザを改良する。
  論文  参考訳（メタデータ） (2024-06-19T13:51:52Z)
• Weakly-supervised deepfake localization in diffusion-generated images [4.548755617115687]
  本稿では,Xception ネットワークをバックボーンアーキテクチャとして用いた弱教師付きローカライズ問題を提案する。 本研究では,(局所スコアに基づく)最良動作検出法は,データセットやジェネレータのミスマッチよりも,より緩やかな監視に敏感であることを示す。
  論文  参考訳（メタデータ） (2023-11-08T10:27:36Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Zero-shot spatial layout conditioning for text-to-image diffusion models [52.24744018240424]
  大規模テキスト・画像拡散モデルでは、生成画像モデリングにおける技術の現状が大幅に改善されている。 画像キャンバスのセグメントに関連付けられたテキストからの画像生成を考察し、直感的な自然言語インタフェースと生成されたコンテンツの正確な空間制御を組み合わせた。 ZestGuideは,事前学習したテキスト・画像拡散モデルにプラグイン可能なゼロショットセグメンテーション誘導手法である。
  論文  参考訳（メタデータ） (2023-06-23T19:24:48Z)
• Sketch-Guided Text-to-Image Diffusion Models [57.12095262189362]
  本稿では,事前訓練されたテキスト-画像拡散モデルを示す普遍的なアプローチを提案する。 本手法では,タスク専用のモデルや専用エンコーダをトレーニングする必要はない。 我々は、スケッチ・ツー・イメージの翻訳タスクに特に焦点をあて、画像を生成する堅牢で表現力のある方法を明らかにする。
  論文  参考訳（メタデータ） (2022-11-24T18:45:32Z)
• MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding [74.33171794972688]
  本稿では,詳細な視覚表現と視覚認識言語表現を活用することで,句オブジェクトの関連性をモデル化するアルゴリズムを提案する。 広く採用されているFlickr30kデータセットで実施された実験は、既存の弱教師付き手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-10-12T00:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。