Fugu-MT 論文翻訳(概要): ForensicsSAM: Toward Robust and Unified Image Forgery Detection and Localization Resisting to Adversarial Attack

論文の概要: ForensicsSAM: Toward Robust and Unified Image Forgery Detection and Localization Resisting to Adversarial Attack

arxiv url: http://arxiv.org/abs/2508.07402v2
Date: Sun, 17 Aug 2025 08:03:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-19 12:43:44.868025
Title: ForensicsSAM: Toward Robust and Unified Image Forgery Detection and Localization Resisting to Adversarial Attack
Title（参考訳）: ForensicsSAM: 敵攻撃によるロバストで統一された画像偽造検出と位置決めを目指して
Authors: Rongxuan Peng, Shunquan Tan, Chenqi Kong, Anwei Luo, Alex C. Kot, Jiwu Huang,
Abstract要約: 高い転送性を持つ逆画像は上流モデルでのみ作成可能であることを示す。本稿では,IFDLフレームワークを組み込んだForensicsSAMを提案する。
参考スコア（独自算出の注目度）: 56.0056378072843
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Parameter-efficient fine-tuning (PEFT) has emerged as a popular strategy for adapting large vision foundation models, such as the Segment Anything Model (SAM) and LLaVA, to downstream tasks like image forgery detection and localization (IFDL). However, existing PEFT-based approaches overlook their vulnerability to adversarial attacks. In this paper, we show that highly transferable adversarial images can be crafted solely via the upstream model, without accessing the downstream model or training data, significantly degrading the IFDL performance. To address this, we propose ForensicsSAM, a unified IFDL framework with built-in adversarial robustness. Our design is guided by three key ideas: (1) To compensate for the lack of forgery-relevant knowledge in the frozen image encoder, we inject forgery experts into each transformer block to enhance its ability to capture forgery artifacts. These forgery experts are always activated and shared across any input images. (2) To detect adversarial images, we design an light-weight adversary detector that learns to capture structured, task-specific artifact in RGB domain, enabling reliable discrimination across various attack methods. (3) To resist adversarial attacks, we inject adversary experts into the global attention layers and MLP modules to progressively correct feature shifts induced by adversarial noise. These adversary experts are adaptively activated by the adversary detector, thereby avoiding unnecessary interference with clean images. Extensive experiments across multiple benchmarks demonstrate that ForensicsSAM achieves superior resistance to various adversarial attack methods, while also delivering state-of-the-art performance in image-level forgery detection and pixel-level forgery localization. The resource is available at https://github.com/siriusPRX/ForensicsSAM.
Abstract（参考訳）: パラメータ効率細調整(PEFT)は、SAM(Segment Anything Model)やLLaVA(LLaVA)といった大きなビジョン基盤モデルをイメージフォージェリ検出やローカライゼーション(IFDL)といった下流タスクに適用するための一般的な戦略として登場した。しかし、既存のPEFTベースのアプローチは、敵の攻撃に対する脆弱性を見落としている。本稿では,下流モデルやトレーニングデータにアクセスすることなく,上流モデルのみで高転送可能な逆画像が作成可能であることを示し,IFDLの性能を著しく低下させることを示した。そこで本研究では,FensicsSAMを組み込んだIFDLフレームワークを提案する。 1) 冷凍画像エンコーダにおける偽造関連知識の欠如を補うため, 各変圧器ブロックに偽造専門家を注入し, 偽造品の捕獲能力を向上する。これらの偽造の専門家は、常に任意の入力イメージ間で活性化され、共有される。 2) 敵画像を検出するために,RGB領域の構造的タスク固有のアーティファクトを捕捉し,様々な攻撃方法の信頼性の高い識別を可能にする軽量な対向検出器を設計する。 3) 敵の攻撃に抵抗するため, 敵の注意層やMLPモジュールに敵のエキスパートを注入し, 敵の騒音による特徴変化を徐々に補正する。これらの敵の専門家は、敵検出器によって適応的に活性化され、クリーンな画像に対する不必要な干渉を避ける。複数のベンチマークにわたる大規模な実験により、ForensicsSAMは様々な敵攻撃手法に対して優れた耐性を達成し、また画像レベルの偽造検出と画素レベルの偽造の局所化において最先端のパフォーマンスを提供することが示された。リソースはhttps://github.com/siriusPRX/ForensicsSAMで公開されている。

論文の概要: ForensicsSAM: Toward Robust and Unified Image Forgery Detection and Localization Resisting to Adversarial Attack

関連論文リスト