論文の概要: Pushing the Frontier of Black-Box LVLM Attacks via Fine-Grained Detail Targeting

• arxiv url: http://arxiv.org/abs/2602.17645v1
• Date: Thu, 19 Feb 2026 18:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.407157
• Title: Pushing the Frontier of Black-Box LVLM Attacks via Fine-Grained Detail Targeting
• Title（参考訳）: ファイングラインドディテールターゲティングによるブラックボックスLVLM攻撃の最前線
• Authors: Xiaohan Zhao, Zhaoyi Li, Yaxin Luo, Jiacheng Cui, Zhiqiang Shen,
• Abstract要約: LVLM(Large Vision-Language Models)に対するブラックボックスの敵攻撃は、勾配の欠如と複雑なマルチモーダル境界のために困難である。 我々は、M-Attackのような最先端のトランスファーベースアプローチが、ソース画像とターゲット画像の局所的な作物レベルのマッチングを用いてうまく機能することを発見した。 我々は、ソース変換とターゲットセマンティクスに対する非対称な期待値として局所マッチングを再構成し、M-Attackへの勾配を減少させるアップグレードを構築する。
• 参考スコア（独自算出の注目度）: 42.1359967984183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Black-box adversarial attacks on Large Vision-Language Models (LVLMs) are challenging due to missing gradients and complex multimodal boundaries. While prior state-of-the-art transfer-based approaches like M-Attack perform well using local crop-level matching between source and target images, we find this induces high-variance, nearly orthogonal gradients across iterations, violating coherent local alignment and destabilizing optimization. We attribute this to (i) ViT translation sensitivity that yields spike-like gradients and (ii) structural asymmetry between source and target crops. We reformulate local matching as an asymmetric expectation over source transformations and target semantics, and build a gradient-denoising upgrade to M-Attack. On the source side, Multi-Crop Alignment (MCA) averages gradients from multiple independently sampled local views per iteration to reduce variance. On the target side, Auxiliary Target Alignment (ATA) replaces aggressive target augmentation with a small auxiliary set from a semantically correlated distribution, producing a smoother, lower-variance target manifold. We further reinterpret momentum as Patch Momentum, replaying historical crop gradients; combined with a refined patch-size ensemble (PE+), this strengthens transferable directions. Together these modules form M-Attack-V2, a simple, modular enhancement over M-Attack that substantially improves transfer-based black-box attacks on frontier LVLMs: boosting success rates on Claude-4.0 from 8% to 30%, Gemini-2.5-Pro from 83% to 97%, and GPT-5 from 98% to 100%, outperforming prior black-box LVLM attacks. Code and data are publicly available at: https://github.com/vila-lab/M-Attack-V2.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)に対するブラックボックスの敵攻撃は、勾配の欠如と複雑なマルチモーダル境界のために困難である。 M-Attackのような最先端のトランスファーベースアプローチは、ソース画像とターゲット画像の局所的なクロップレベルマッチングを用いてうまく機能するが、この手法は高分散で、イテレーション間のほぼ直交勾配を誘導し、コヒーレントな局所アライメントに違反し、最適化を安定化させる。 私たちはこれを原因とします。 一 スパイク様勾配を生じさせるViT翻訳感度 (II)源と対象作物の間の構造的非対称性。 我々は、ソース変換とターゲットセマンティクスに対する非対称な期待値として局所マッチングを再構成し、M-Attackへの勾配を減少させるアップグレードを構築する。 ソース側では、Multi-Crop Alignment (MCA) は、ばらつきを減らすために、イテレーション毎に複数の独立したローカルビューから勾配を推定する。 ターゲット側では、Auxiliary Target Alignment (ATA) は、攻撃的ターゲット拡張を意味的相関分布から小さな補助集合に置き換え、よりスムーズで低分散なターゲット多様体を生成する。 我々はさらに、Patch Momentumとして運動量を再解釈し、歴史的作物の勾配を再現し、改良されたパッチサイズアンサンブル(PE+)と組み合わせることで、移動可能な方向を強化する。 これらのモジュールはM-Attack-V2(M-Attack-V2)を形成し、フロンティアのLVLMに対する転送ベースのブラックボックス攻撃を大幅に改善し、Claude-4.0を8%から30%に、Gemini-2.5-Proを83%から97%に、GPT-5を98%から100%に改善した。 コードとデータは、https://github.com/vila-lab/M-Attack-V2.comで公開されている。

関連論文リスト

• Make Anything Match Your Target: Universal Adversarial Perturbations against Closed-Source MLLMs via Multi-Crop Routed Meta Optimization [49.30177419529011]
  我々は、より厳密な設定であるユニバーサル・ターゲティング・トランスファラブル・アタック(UTTAA)について研究する。 単一の摂動は、未知の商用MLLMをまたいで、指定されたターゲットに対する任意の入力を常に制御しなければならない。 本稿では,M CRMO-Attackを提案する。
  論文  参考訳（メタデータ） (2026-01-30T17:03:24Z)
• A Frustratingly Simple Yet Highly Effective Attack Baseline: Over 90% Success Rate Against the Strong Black-box Models of GPT-4.5/4o/o1 [43.32593407341789]
  オープンソースの大規模ビジョン言語モデルで有望なパフォーマンスにもかかわらず、トランスファーベースのターゲットアタックは、クローズドソースの商用LVLMに対して失敗することが多い。 本稿では,局所領域内の意味的詳細を明示的に符号化することで,意味的明瞭度を高めることを提案する。 提案手法は, GPT-4.5, 4o, o1において90%以上の成功率を達成し, 従来の攻撃方法よりも優れていた。
  論文  参考訳（メタデータ） (2025-03-13T17:59:55Z)
• Logit Margin Matters: Improving Transferable Targeted Adversarial Attack by Logit Calibration [85.71545080119026]
  クロスエントロピー(CE)損失関数は、伝達可能な標的対向例を学習するには不十分である。 本稿では,ロジットを温度係数と適応マージンでダウンスケールすることで,ロジットのキャリブレーションを簡易かつ効果的に行う2つの手法を提案する。 ImageNetデータセットを用いて実験を行い,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-07T06:42:52Z)
• GradViT: Gradient Inversion of Vision Transformers [83.54779732309653]
  我々は,視力変換器(ViT)の勾配に基づく逆攻撃に対する脆弱性を実証する。 自然に見える画像にランダムノイズを最適化するGradViTという手法を提案する。 元の(隠された)データに対する前例のない高い忠実さと近接性を観察する。
  論文  参考訳（メタデータ） (2022-03-22T17:06:07Z)
• Enhancing the Transferability of Adversarial Attacks through Variance Tuning [6.5328074334512]
  反復勾配に基づく攻撃手法のクラスを強化するための分散チューニングと呼ばれる新しい方法を提案する。 標準のImageNetデータセットを用いた実験結果から,勾配に基づく敵攻撃の転送性を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2021-03-29T12:41:55Z)
• Patch-wise++ Perturbation for Adversarial Targeted Attacks [132.58673733817838]
  トランスファビリティの高い対比例の作成を目的としたパッチワイズ反復法(PIM)を提案する。 具体的には、各イテレーションのステップサイズに増幅係数を導入し、$epsilon$-constraintをオーバーフローする1ピクセルの全体的な勾配が、その周辺領域に適切に割り当てられる。 現在の攻撃方法と比較して、防御モデルでは35.9%、通常訓練されたモデルでは32.7%、成功率を大幅に向上させた。
  論文  参考訳（メタデータ） (2020-12-31T08:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。