論文の概要: SGHA-Attack: Semantic-Guided Hierarchical Alignment for Transferable Targeted Attacks on Vision-Language Models

• arxiv url: http://arxiv.org/abs/2602.01574v1
• Date: Mon, 02 Feb 2026 03:10:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.862719
• Title: SGHA-Attack: Semantic-Guided Hierarchical Alignment for Transferable Targeted Attacks on Vision-Language Models
• Title（参考訳）: SGHA-Attack:視覚・言語モデルを用いたトランスファー可能なターゲット攻撃のための意味誘導型階層的アライメント
• Authors: Haobo Wang, Weiqi Luo, Xiaojun Jia, Xiaochun Cao,
• Abstract要約: 大規模視覚言語モデル(VLM)は、転送ベースの対向摂動に対して脆弱である。 SGHA-Attackは、複数のターゲット参照を採用し、中間層一貫性を強制するフレームワークである。 オープンソースおよび商用のブラックボックスVLMの実験は、SGHA-Attackが従来の方法よりも強力な目標転送性を実現することを示している。
• 参考スコア（独自算出の注目度）: 73.19044613922911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (VLMs) are vulnerable to transfer-based adversarial perturbations, enabling attackers to optimize on surrogate models and manipulate black-box VLM outputs. Prior targeted transfer attacks often overfit surrogate-specific embedding space by relying on a single reference and emphasizing final-layer alignment, which underutilizes intermediate semantics and degrades transfer across heterogeneous VLMs. To address this, we propose SGHA-Attack, a Semantic-Guided Hierarchical Alignment framework that adopts multiple target references and enforces intermediate-layer consistency. Concretely, we generate a visually grounded reference pool by sampling a frozen text-to-image model conditioned on the target prompt, and then carefully select the Top-K most semantically relevant anchors under the surrogate to form a weighted mixture for stable optimization guidance. Building on these anchors, SGHA-Attack injects target semantics throughout the feature hierarchy by aligning intermediate visual representations at both global and spatial granularities across multiple depths, and by synchronizing intermediate visual and textual features in a shared latent subspace to provide early cross-modal supervision before the final projection. Extensive experiments on open-source and commercial black-box VLMs show that SGHA-Attack achieves stronger targeted transferability than prior methods and remains robust under preprocessing and purification defenses.
• Abstract（参考訳）: 大規模な視覚言語モデル(VLM)は、トランスファーベースの敵の摂動に弱いため、攻撃者はサロゲートモデルで最適化し、ブラックボックスのVLM出力を操作できる。 以前のターゲット転送攻撃は、単一の参照に頼って最終層アライメントを強調し、中間的セマンティクスを弱め、不均一なVLM間での転送を低下させることによって、サロゲート固有の埋め込み空間に適合することが多い。 そこで本研究では,SGHA-Attackを提案する。SGHA-Attackはセマンティックガイドによる階層的アライメントフレームワークで,複数のターゲット参照を採用し,中間層一貫性を強制する。 具体的には、ターゲットプロンプトに条件付き凍結されたテキスト・ツー・イメージモデルをサンプリングし、サロゲートの下に最も意味論的に関係のあるアンカーを慎重に選択し、安定な最適化ガイダンスのための重み付け混合物を形成することで、視覚的に接地された参照プールを生成する。 これらのアンカー上に構築されたSGHA-Attackは、複数の深さにまたがる大域的および空間的粒度の中間的な視覚的表現を整列させ、また共有潜在部分空間における中間的な視覚的特徴とテキスト的特徴を同期させることにより、特徴階層全体を通してターゲットセマンティクスを注入する。 オープンソースおよび商用のブラックボックスVLMの広範囲にわたる実験により、SGHA-Attackは以前の方法よりも強力な目標転送性を実現し、前処理および浄化防御下では堅牢であることが示された。

関連論文リスト

• SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection [55.54007781679915]
  本稿では,多種多様な視覚的エンコーディングを効率よく融合させ,モデルの微粒化知覚を高めるSynergistic Semantic-Visual Prompting (SSVP)を提案する。 SSVPは、MVTec-AD上で93.0%のImage-AUROCと92.2%のPixel-AUROCで最先端のパフォーマンスを達成し、既存のゼロショットアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2026-01-14T04:42:19Z)
• Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
  視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。 COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。 COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
  論文  参考訳（メタデータ） (2025-10-28T03:47:44Z)
• Target-Oriented Single Domain Generalization [27.182037614828968]
  単一ソースドメインでトレーニングされたディープモデルは、分散シフトの下で破滅的に失敗することが多い。 本稿では,対象ドメインのテキスト記述を活用する新しい問題設定である,ターゲット指向単一ドメイン一般化を提案する。 私たちは、ターゲットセマンティクスをソース機能に注入するモジュールであるSpectral TARget Alignment(STAR)を紹介します。
  論文  参考訳（メタデータ） (2025-08-30T04:21:48Z)
• Enhancing Targeted Adversarial Attacks on Large Vision-Language Models via Intermediate Projector [24.390527651215944]
  ブラックボックスの敵攻撃は特に大型ビジョンランゲージモデル(VLM)に深刻な脅威をもたらす 本稿では,プロジェクタを利用した新たなブラックボックスターゲットアタックフレームワークを提案する。 具体的には、グローバルな画像埋め込みをきめ細かなクエリ出力に変換する、広く採用されているクエリ変換器(Q-Former)を利用する。
  論文  参考訳（メタデータ） (2025-08-19T11:23:09Z)
• Improving Black-Box Generative Attacks via Generator Semantic Consistency [51.470649503929344]
  ジェネレーティブアタックは テスト時に 1つのフォワードパスで 敵の例を生成する 初期ジェネレータの中間機能をEMA教師に整列させることで意味的整合性を実現する。 我々のアプローチは、ブラックボックス転送の一貫性を保ちながら、既存のジェネレーティブアタックにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-06-23T02:35:09Z)
• Preserving Clusters in Prompt Learning for Unsupervised Domain Adaptation [29.809079908218607]
  この研究は、ベース擬似ラベルを強化し、ターゲット・プロンプト学習を促進する新しいソリューションを導入している。 まず、ソースとターゲットの視覚的埋め込みの関係に基づき、参照予測を活用することを提案する。 その後、事前学習したマルチモーダルモデルにおいて、視覚とテキストの埋め込みの間に強いクラスタリングの挙動が観察されていることを示した。
  論文  参考訳（メタデータ） (2025-06-13T06:33:27Z)
• Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
  本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。 未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:04:04Z)
• Generative Domain Adaptation for Face Anti-Spoofing [38.12738183385737]
  教師なしドメイン適応(UDA)に基づくアンチスプーフィングアプローチは、ターゲットシナリオに対する有望なパフォーマンスのために注目を集めている。 既存のUDA FASメソッドは、通常、セマンティックな高レベルの機能の分布を整列することで、トレーニングされたモデルをターゲットドメインに適合させる。 対象データをモデルに直接適合させ、画像翻訳により対象データをソースドメインスタイルにスタイリングし、さらに、訓練済みのソースモデルにスタイリングされたデータを入力して分類する、UDA FASの新しい視点を提案する。
  論文  参考訳（メタデータ） (2022-07-20T16:24:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。