論文の概要: Visual-Invariance-Augmented Feature Optimal Alignment for Transferable Adversarial Attacks against Closed-Source MLLMs

• arxiv url: http://arxiv.org/abs/2610.06977v1
• Date: Sun, 04 Oct 2026 00:16:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.486054
• Title: Visual-Invariance-Augmented Feature Optimal Alignment for Transferable Adversarial Attacks against Closed-Source MLLMs
• Title（参考訳）: クローズドソースMLLMに対するトランスファタブル・アタックのための視覚的不変性強化機能アライメント
• Abstract要約: マルチモーダル大言語モデル (MLLM) は、移動可能な敵の例に対して脆弱なままである。 既存のターゲット転送攻撃は主に、大域的な画像レベルの特徴を用いて、敵とターゲットのサンプルを並べ合わせる。 適応的不均衡輸送を用いた視覚的不変性拡張型最適アライメントアタックであるIAU-FOAを提案する。
• 参考スコア（独自算出の注目度）: 58.88602095417067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) remain vulnerable to transferable adversarial examples, especially in black-box settings where only open-source surrogate models are accessible. Existing targeted transfer attacks mainly align adversarial and target samples using global image-level features, such as encoder [CLS] embeddings. However, such coarse alignment insufficiently exploits patch-level visual structures, limiting transferability across heterogeneous closed-source MLLMs. We propose IAU-FOA, a visual-invariance-augmented feature optimal alignment attack with adaptive unbalanced transport, to improve targeted transferability against closed-source MLLMs. IAU-FOA aligns adversarial and target samples at both global and local levels: a cosine-based objective narrows their global semantic gap, while patch tokens are clustered into compact local patterns and matched through optimal transport for fine-grained feature alignment. Balanced optimal transport enforces fixed marginal masses even for local clusters without reliable counterparts, potentially introducing misleading alignment gradients. We therefore introduce confidence-adaptive unbalanced transport to relax these constraints for weakly matched clusters, aiming to reduce unreliable local alignment and improve adversarial transferability. We further study the effect of input transformations and propose visual-invariance augmentation, which applies bidirectional pixel-intensity rescaling and per-channel white-balance adjustment to simulate exposure, contrast, illumination, and color-temperature variations. This strategy encourages adversarial perturbations to generalize across different visual encoders. Extensive experiments on open-source and closed-source MLLMs show that IAU-FOA consistently outperforms state-of-the-art transferable attack methods. Code is available at https://github.com/jiaxiaojunQAQ/IAU-FOA.
• Abstract（参考訳）: マルチモーダル・大規模言語モデル(MLLM)は、特にオープンソースサロゲートモデルのみがアクセス可能なブラックボックス設定において、転送可能な敵の例に対して脆弱なままである。 既存のターゲット転送攻撃は主に、エンコーダ[CLS]埋め込みのようなグローバルな画像レベルの特徴を用いて、敵とターゲットのサンプルを並べ合わせる。 しかし、そのような粗いアライメントはパッチレベルの視覚構造を十分に活用し、不均一なクローズドソースMLLM間の転送可能性を制限する。 適応的アンバランストランスポートを用いた視覚的不変性拡張型最適アライメントアタックであるIAU-FOAを提案し、クローズドソースMLLMに対するターゲット転送性を改善する。 コサインベースの目的は、グローバルなセマンティックギャップを狭め、パッチトークンはコンパクトなローカルパターンにクラスタ化され、きめ細かい特徴アライメントのために最適なトランスポートによってマッチングされる。 バランスの取れた最適輸送は、信頼性のない局所的なクラスターであっても固定された縁の質量を強制し、誤った配向勾配をもたらす可能性がある。 そこで我々は,これらの制約を緩和するために,信頼できない局所的なアライメントを低減し,対向移動性を向上させることを目的として,信頼適応的不均衡輸送を導入した。 さらに、入力変換の効果について検討し、双方向画素強度再スケーリングとチャネルごとのホワイトバランス調整を適用して、露光、コントラスト、照明、温度変化をシミュレートする、視覚不変性向上を提案する。 この戦略は、異なる視覚エンコーダにまたがる敵の摂動を一般化させる。 オープンソースおよびクローズドソースMLLMの広範な実験により、IAU-FOAは最先端のトランスファー可能な攻撃方法よりも一貫して優れていることが示された。 コードはhttps://github.com/jiaxiaojunQAQ/IAU-FOAで入手できる。

関連論文リスト

• Frequency-Domain Regularized Adversarial Alignment for Transferable Attacks against Closed-Source MLLMs [59.973833105841685]
  対向移動性を改善するための重要な課題は、異なるモデル間で共有される本質的な視覚的焦点を効果的に捉えることである。 本稿では、FRA-Attackを提案する。このFRA-Attackは、周波数領域の統一正規化の観点から、両方の課題に対処する。 機能アライメントのために、パッチ機能に対する高パスDCTは、冗長なグローバル構造を抑圧し、MLLMの固有の視覚的焦点を持つ高周波帯域の損失に集中する。 勾配最適化のために、代用勾配を変調するテキストモデルに依存しない低パス正規化器である周波数領域勾配正規化(FGR)を導入する。
  論文  参考訳（メタデータ） (2026-05-20T08:15:56Z)
• Adversarial Attacks Against MLLMs via Progressive Resolution Processing and Adaptive Feature Alignment [56.085182951399496]
  敵対的摂動は、特定の対象物として良性画像を認識するマルチモーダル大言語モデル(MLLM)を誤解させる可能性がある。 これにより、ブラックボックスMLLMの堅牢性を理解し改善するために、転送ベースのターゲットアタックが重要である。 マルチスケールなグローバルなセマンティックガイダンスとロバストな中間層局所アライメントを統合した,トランスファーベースの攻撃フレームワークであるPRAF-Attackを提案する。
  論文  参考訳（メタデータ） (2026-05-11T02:45:48Z)
• SGHA-Attack: Semantic-Guided Hierarchical Alignment for Transferable Targeted Attacks on Vision-Language Models [73.19044613922911]
  大規模視覚言語モデル(VLM)は、転送ベースの対向摂動に対して脆弱である。 SGHA-Attackは、複数のターゲット参照を採用し、中間層一貫性を強制するフレームワークである。 オープンソースおよび商用のブラックボックスVLMの実験は、SGHA-Attackが従来の方法よりも強力な目標転送性を実現することを示している。
  論文  参考訳（メタデータ） (2026-02-02T03:10:41Z)
• MergeMix: A Unified Augmentation Paradigm for Visual and Multi-Modal Understanding [23.96717124380285]
  MergeMixは、SFTとRLを橋渡しするトレーニング時間拡張パラダイムである。 まず、トークンマージによる注意認識画像の混合と、より多くのクラスタ表現と空間コンテキストを適用する。 次に、MLLMに対して、画像と生画像の混合による選好ペアの構築と、SimPO損失による最適化により、嗜好駆動トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-10-27T16:12:40Z)
• Adversarial Attacks against Closed-Source MLLMs via Feature Optimal Alignment [35.77916460821855]
  マルチモーダル大規模言語モデル(MLLM)は、移動可能な敵攻撃に対して脆弱である。 本稿では,特徴量の最適アライメントに基づく移動可能な対向攻撃手法を提案する。 実験は,提案手法の優位性を実証し,最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-27T17:56:57Z)
• Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need [83.10178754323955]
  わずかなショットラーニングにより、モデルがいくつかのラベル付き例から一般化できる。 本稿では,Unbiased Max-Min Embedding Classification (UMMEC)法を提案する。 本手法は最小ラベル付きデータを用いて分類性能を著しく向上させ, 注釈付きLの最先端化を推し進める。
  論文  参考訳（メタデータ） (2025-03-28T07:23:07Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。