論文の概要: HQA-VLAttack: Towards High Quality Adversarial Attack on Vision-Language Pre-Trained Models

• arxiv url: http://arxiv.org/abs/2604.16499v1
• Date: Tue, 14 Apr 2026 07:16:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.030695
• Title: HQA-VLAttack: Towards High Quality Adversarial Attack on Vision-Language Pre-Trained Models
• Title（参考訳）: HQA-VLAttack:ビジョンランゲージ事前訓練モデルに対する高品質な敵攻撃に向けて
• Authors: Han Liu, Jiaqi Li, Zhi Xu, Xiaotong Zhang, Xiaoming Xu, Fenglong Ma, Yuanman Li, Hong Yu,
• Abstract要約: 視覚言語事前訓練モデルに対するブラックボックスの敵攻撃は、実用的で困難な課題である。 本稿では,HQA-VLAttack という,視覚言語事前学習モデルにおける高品質な逆例を生成するフレームワークを提案する。 3つのベンチマークデータセットの実験結果は、HQA-VLAttackが攻撃成功率において強いベースラインを著しく上回っていることを示している。
• 参考スコア（独自算出の注目度）: 38.73881285761326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box adversarial attack on vision-language pre-trained models is a practical and challenging task, as text and image perturbations need to be considered simultaneously, and only the predicted results are accessible. Research on this problem is in its infancy, and only a handful of methods are available. Nevertheless, existing methods either rely on a complex iterative cross-search strategy, which inevitably consumes numerous queries, or only consider reducing the similarity of positive image-text pairs but ignore that of negative ones, which will also be implicitly diminished, thus inevitably affecting the attack performance. To alleviate the above issues, we propose a simple yet effective framework to generate high-quality adversarial examples on vision-language pre-trained models, named HQA-VLAttack, which consists of text and image attack stages. For text perturbation generation, it leverages the counter-fitting word vector to generate the substitute word set, thus guaranteeing the semantic consistency between the substitute word and the original word. For image perturbation generation, it first initializes the image adversarial example via the layer-importance guided strategy, and then utilizes contrastive learning to optimize the image adversarial perturbation, which ensures that the similarity of positive image-text pairs is decreased while that of negative image-text pairs is increased. In this way, the optimized adversarial images and texts are more likely to retrieve negative examples, thereby enhancing the attack success rate. Experimental results on three benchmark datasets demonstrate that HQA-VLAttack significantly outperforms strong baselines in terms of attack success rate.
• Abstract（参考訳）: テキストと画像の摂動を同時に考慮する必要があるため、視覚言語事前訓練モデルに対するブラックボックスの敵攻撃は実用的で困難な作業であり、予測結果のみがアクセス可能である。 この問題の研究は初期段階にあり、利用可能なメソッドはごくわずかである。 しかし、既存の手法は、必然的に多数のクエリを消費する複雑な反復的クロスサーチ戦略に依存するか、正のイメージテキストペアの類似性を減らし、負のペアの類似性を無視することだけを考えるか、暗黙的に減少し、攻撃性能に必然的に影響を及ぼす。 上記の問題を緩和するために,本研究では,テキストと画像攻撃の段階からなるHQA-VLAttackという,視覚言語事前学習モデルにおける高品質な逆数例を生成するための,シンプルで効果的なフレームワークを提案する。 テキスト摂動生成では、逆適合語ベクトルを利用して代用語セットを生成し、代用語と原語とのセマンティック一貫性を保証する。 画像摂動生成では、まず、層-重要誘導戦略を介して画像対の例を初期化し、コントラスト学習を用いて画像対摂動を最適化し、負の画像-テキスト対の類似性を低下させ、負の画像-テキスト対の類似性を増大させる。 このようにして、最適化された敵画像やテキストは、負の例を取り出す傾向が強くなり、攻撃成功率が向上する。 3つのベンチマークデータセットの実験結果は、HQA-VLAttackが攻撃成功率において強いベースラインを著しく上回っていることを示している。

関連論文リスト

• Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models [89.0460992131069]
  本稿では,CLIPのプレトレーニングプロセスのトレーニングレシピに従うAdvFLYPを提案する。 具体的には、AdvFLYPは、Webから収集された画像とテキストのペアに基づいて生成された敵画像とCLIPを微調整し、対照的な損失によって対応するテキストとマッチングする。 また,ロジットレベルの正規化条件と特徴レベルの正規化条件は,それぞれ堅牢性とクリーンな精度に有益であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T14:54:25Z)
• A Generative Adversarial Approach to Adversarial Attacks Guided by Contrastive Language-Image Pre-trained Model [12.15621649989295]
  CLIPモデルを用いて、高効率で視覚的に知覚できない対人摂動を発生させる生成的対人攻撃法を提案する。 我々のアプローチは、サリエンシをベースとしたオートエンコーダからの集中摂動戦略と、GAMA(Generative Adversarial Multi-Object Scene Attacks)に似た異種テキスト埋め込みを統合する。
  論文  参考訳（メタデータ） (2025-11-03T08:02:48Z)
• Debiasing Vison-Language Models with Text-Only Training [15.069736314663352]
  視覚バイアスを軽減するために,テキスト・アズ・イメージ・トレーニング・パラダイムを活用するTODというテキスト・オン・デバイアス・フレームワークを提案する。 そこで本研究では,テキスト・アズ・イメージ・トレーニングのパラダイムを活用し,視覚バイアスを緩和するテキスト・オン・デバイアス化フレームワークTODを提案する。
  論文  参考訳（メタデータ） (2024-10-12T04:34:46Z)
• AICAttack: Adversarial Image Captioning Attack with Attention-Based Optimization [13.045125782574306]
  本稿では,画像上の微妙な摂動によって画像キャプションモデルを攻撃する新たな攻撃戦略であるAICAttackを提案する。 ブラックボックス攻撃シナリオ内で動作するため、我々のアルゴリズムはターゲットモデルのアーキテクチャ、パラメータ、勾配情報へのアクセスを必要としない。 複数の犠牲者モデルに対するベンチマークデータセットの広範な実験を通じて,AICAttackの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-19T08:27:23Z)
• VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models [58.21452697997078]
  本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。 5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-16T21:17:42Z)
• HQA-Attack: Toward High Quality Black-Box Hard-Label Adversarial Attack on Text [40.58680960214544]
  テキストに対するブラックボックスのハードラベルの敵攻撃は、実用的で困難な作業である。 そこで我々は,HQA-Attack というブラックボックス・ハードラベル攻撃シナリオの下で,高品質な敵の例を生成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T10:06:43Z)
• OT-Attack: Enhancing Adversarial Transferability of Vision-Language Models via Optimal Transport Optimization [65.57380193070574]
  視覚言語事前学習モデルは、マルチモーダル対逆例に対して脆弱である。 近年の研究では、データ拡張と画像-テキストのモーダル相互作用を活用することで、対向的な例の転送可能性を高めることが示されている。 本稿では,OT-Attack と呼ばれる最適輸送方式の敵攻撃を提案する。
  論文  参考訳（メタデータ） (2023-12-07T16:16:50Z)
• Counterfactual Image Generation for adversarially robust and interpretable Classifiers [1.3859669037499769]
  本稿では,GAN(Generative Adrial Networks)を基盤として,画像から画像への変換を利用した統合フレームワークを提案する。 これは、分類器と識別器を1つのモデルに組み合わせて、実際の画像をそれぞれのクラスに属性付け、生成されたイメージを「フェイク」として生成することで達成される。 モデルが敵攻撃に対するロバスト性の向上を示すことを示すとともに,判別器の「フェイクネス」値が予測の不確かさの指標となることを示す。
  論文  参考訳（メタデータ） (2023-10-01T18:50:29Z)
• Robust Contrastive Language-Image Pre-training against Data Poisoning and Backdoor Attacks [52.26631767748843]
  ROCLIPは、ターゲットデータ中毒やバックドア攻撃に対して、マルチモーダル視覚言語モデルを堅牢に学習するための最初の効果的な方法である。 ROCLIPは、比較的大きく多様なランダムキャプションのプールを考慮することにより、有毒な撮像対の関連を効果的に破壊する。 実験の結果,ROCLIPは訓練前のCLIPモデルにおいて,最先端のデータ中毒やバックドア攻撃を未然に防ぐことができることがわかった。
  論文  参考訳（メタデータ） (2023-03-13T04:49:46Z)
• DreamArtist++: Controllable One-Shot Text-to-Image Generation via Positive-Negative Adapter [63.622879199281705]
  いくつかの例に基づく画像生成手法が提案されており、例えば、いくつかの入力参照の健全な特徴を吸収して新しい概念を生成する。 本研究では,DreamArtistというシンプルなフレームワークを提案する。このフレームワークは,事前学習した拡散モデルに対して,新しい正負の学習戦略を採用する。 我々は,画像類似性(忠実度)と多様性,生成制御性,スタイルのクローニングから,幅広い実験を行い,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2022-11-21T10:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。