論文の概要: AD-SRF: Attack-Defense Semantic Reinforcement for Multi-Modal Image Fusion
- arxiv url: http://arxiv.org/abs/2610.12897v1
- Date: Fri, 09 Oct 2026 02:38:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.358423
- Title: AD-SRF: Attack-Defense Semantic Reinforcement for Multi-Modal Image Fusion
- Title(参考訳): AD-SRF:マルチモーダル画像融合のためのアタックディフエンス・セマンティック強化
- Abstract要約: 既存の画像融合法は、視覚的品質と意味的属性のバランスをとるのに苦労する。
マルチモーダル画像融合のためのアタック・ディフェンス・セマンティック・強化フレームワークAD-SRFを提案する。
このフレームワークは、その視覚的品質を損なうことなく、リッチなセマンティック属性を融合画像に注入する。
- 参考スコア(独自算出の注目度): 34.89328688669954
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing image fusion methods struggle to balance visual quality and semantic attributes due to the inherent conflict between their optimization objectives. To address this challenge, we propose an attack-defense semantic reinforcement framework for multi-modal image fusion, termed AD-SRF. By decoupling the optimization of these two aspects and then losslessly reintegrating them, this framework injects rich semantic attributes into the fused image without compromising its visual quality. First, we develop a transformer-based restorative visual fusion network as a strong visual baseline. Equipped with the cross-modal retrieval module and the information restoration-fusion collaborative loss, it produces highly visible fused images even under degraded conditions. Second, we introduce an attack-defense game mechanism to strengthen the semantic attributes of the fused images. The attacker learns perturbation patterns that impair downstream segmentation, whereas the defender restores missing semantics from the original inputs and reintegrates them into the fused image through an imperceptible semantic map. Through iterative adversarial interaction, this mechanism drives the defender to continually strengthen the fused image's semantic attributes, boosting downstream segmentation performance without compromising visual quality. Extensive experiments demonstrate that AD-SRF achieves a win-win performance in both visual quality and semantic attributes. The code is publicly available at https://github.com/HaoZhang1018/AD-SRF.
- Abstract(参考訳): 既存の画像融合法は、最適化対象間の固有の矛盾のため、視覚的品質と意味的属性のバランスをとるのに苦労する。
この課題に対処するため,AD-SRFと呼ばれるマルチモーダル画像融合のためのアタック・ディフェンス・セマンティック・強化フレームワークを提案する。
これら2つの側面の最適化を分離し、無益に再統合することにより、このフレームワークは、その視覚的品質を損なうことなく、融合したイメージにリッチなセマンティック属性を注入する。
まず, 強力な視覚ベースラインとして, トランスフォーマーをベースとした再構成型視覚融合ネットワークを開発する。
クロスモーダル検索モジュールと情報復元融合協調損失を備え, 劣化条件下においても高度に可視な融合画像を生成する。
第2に,融合画像のセマンティック属性を強化するためのアタック・ディフェンス・ゲーム機構を導入する。
攻撃者は下流のセグメンテーションを損なう摂動パターンを学習する一方、ディフェンダーは元の入力から欠落したセマンティクスを復元し、認識不能なセマンティクスマップを通じて融合したイメージに再統合する。
この機構は、反復的な敵対的相互作用を通じて、視覚的品質を損なうことなく、解像のセグメンテーション性能を向上し、解像のセグメンテーション特性を継続的に強化する。
広汎な実験により、AD-SRFは視覚的品質とセマンティック属性の両方においてウィンウィン性能を達成することが示された。
コードはhttps://github.com/HaoZhang1018/AD-SRFで公開されている。
関連論文リスト
- Bypassing Copyright Protection in Diffusion-based Customization via Two-Stage Latent Feature Optimization [51.33055188976282]
敵対的攻撃は 個人化された画像生成において 悪意のあるコンテンツの偽造を防ぐ 防衛戦略として浮上した
本稿では,2段階遅延特徴最適化 (TS-LFO) を導入する。
広範な実験により、TS-LFOは、最先端のSOTA著作権防衛を一貫して回避し、DiffPure、GrIDPure、IMPRESSなどのSOTA著作権攻撃より優れていることが示されている。
論文 参考訳(メタデータ) (2026-06-06T07:59:08Z) - REFORGE: Multi-modal Attacks Reveal Vulnerable Concept Unlearning in Image Generation Models [11.940673002446138]
画像生成モデル(IGM)の最近の進歩は、高忠実度コンテンツ作成を可能にするが、リスクを増幅する。
IGMUは、完全な再訓練なしに有害な概念を除去することで、これらのリスクを軽減する。
本稿では,逆画像プロンプトによるIGMU堅牢性を評価するフレームワークREFORGEを提案する。
論文 参考訳(メタデータ) (2026-03-17T14:29:01Z) - Active Adversarial Noise Suppression for Image Forgery Localization [56.98050814363447]
本稿では、敵騒音の攻撃効果を抑制するために、防御的摂動を発生させる敵騒音抑制モジュール(ANSM)を提案する。
我々の知る限りでは、画像フォージェリローカライゼーションタスクにおける敵対的防御の報告としてはこれが初めてである。
論文 参考訳(メタデータ) (2025-06-15T14:53:27Z) - $\textrm{A}^{\textrm{2}}$RNet: Adversarial Attack Resilient Network for Robust Infrared and Visible Image Fusion [22.666969931655043]
Infrared and visible image fusion (IVIF) は視覚能力を高める重要な技術である。
本稿では,textrmAtextrm2$RNetと呼ばれる新たな攻撃耐性ネットワークを提案する。
論文 参考訳(メタデータ) (2024-12-13T08:24:12Z) - Towards Robust Image Stitching: An Adaptive Resistance Learning against
Compatible Attacks [66.98297584796391]
画像縫合は、様々な視点から捉えた画像をシームレスに単一の視野画像に統合する。
一対の撮像画像が与えられたとき、人間の視覚システムに気づかない微妙な摂動と歪みは、対応の一致を攻撃しがちである。
本稿では,敵対的攻撃に対する画像縫合の堅牢性向上に向けた最初の試みについて述べる。
論文 参考訳(メタデータ) (2024-02-25T02:36:33Z) - PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant
Semantic Segmentation [50.556961575275345]
対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。
我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-08-08T01:55:44Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-11-20T12:02:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。