論文の概要: GhostPrompt: Cross-Image Adversarial Prompt for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2607.19683v1
- Date: Wed, 22 Jul 2026 02:33:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:37.951333
- Title: GhostPrompt: Cross-Image Adversarial Prompt for Vision-Language Models
- Title（参考訳）: GhostPrompt:ビジョンランゲージモデルのためのクロスイメージ逆転プロンプト
- Abstract要約: GhostPromptは敵のプロンプトで、一度最適化され、VLM出力を様々な画像にまたがって攻撃者が特定した応答に向けて操るために再利用される。
提案手法は,最新技術(SoTA)ベースラインと比較して30%以上の攻撃成功率向上を実現し,計算時間を70%削減する。
- 参考スコア（独自算出の注目度）: 19.133064005999838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) are known to be vulnerable to adversarial attacks, where subtle perturbations to images or texts induce erroneous outputs. However, most text-based attacks are adapted from language-model-centric methods, in which the visual input is fixed during optimization, resulting in adversarial prompts that are tied to specific images and thus limiting their attack effectiveness. To this end, we first introduce a new research perspective: cross-image transferability for adversarial prompts. We then propose GhostPrompt, an adversarial prompt that is optimized once and reused to steer VLM outputs toward attacker-specified responses across diverse images. GhostPrompt employs a joint optimization that distills image-invariant adversarial features into the prompt by "worst-case" generation. Specifically, it alternates between constructing hard visual conditions for the current prompt and updating the prompt to remain effective under these conditions. Extensive experiments on prevalent VLMs verify that \ourmethod achieves an improvement of over 30% in attack success rates compared to state-of-the-art (SoTA) baselines, while reducing computation time by ~70%. Our code is avalable at https://github.com/Ye-ze-yu/GhostPrompt.
- Abstract（参考訳）: VLM(Vision-Language Models)は、画像やテキストに対する微妙な摂動が誤った出力を誘導する敵攻撃に対して脆弱であることが知られている。
しかし、ほとんどのテキストベースの攻撃は、最適化中に視覚入力が固定される言語モデル中心の手法に適応しており、その結果、特定の画像に結びついている敵のプロンプトが発生し、攻撃の有効性が制限される。
この目的のために、我々はまず、敵のプロンプトに対するクロスイメージ転送可能性という新しい研究視点を導入する。
次に、GhostPromptを提案する。GhostPromptは、一度最適化され、様々な画像にまたがる攻撃指定応答に対してVLM出力をステアリングするために再利用される逆プロンプトである。
GhostPromptは"Worst-case"生成によって画像不変の逆数特徴をプロンプトに蒸留する共同最適化を採用している。
具体的には、現在のプロンプトに対するハードな視覚条件の構築と、これらの条件下で有効となるプロンプトの更新を交互に行う。
一般のVLMに対する大規模な実験により、 \ourmethodは、最先端(SoTA)ベースラインに比べて30%以上の攻撃成功率の向上を実現し、計算時間を約70%削減した。
私たちのコードはhttps://github.com/Ye-ze-yu/GhostPrompt.comで利用可能です。
関連論文リスト
- Adversarial Prompt Injection Attack on Multimodal Large Language Models [21.995939723909796]
マルチモーダルな大規模言語モデル(MLLM)は、現実世界のアプリケーションにますます多くデプロイされている。
既存のプロンプトインジェクション法は、人間が観察できるテキストプロンプトや知覚可能な視覚プロンプトに依存している。
本研究では,強力なクローズドソースMLLMに対する知覚不能な視覚的プロンプトインジェクションについて検討する。
論文 参考訳（メタデータ） (2026-03-31T08:22:07Z) - An Image Is Worth Ten Thousand Words: Verbose-Text Induction Attacks on VLMs [48.05423013052023]
本稿では,良性画像に知覚不能な逆方向の摂動を注入する新しい動詞文誘導攻撃(VTIA)を提案する。
まず、敵のプロンプトを自動的に識別する強化学習戦略を用いて、敵のプロンプト検索を行う。
次に、入力画像の対角的例を作成するために、視線対応摂動最適化を行い、摂動画像の視覚的埋め込みと対角的プロンプトの類似性を最大化する。
論文 参考訳（メタデータ） (2025-11-20T09:03:43Z) - PromptFlare: Prompt-Generalized Defense via Cross-Attention Decoy in Diffusion-Based Inpainting [25.24109316946351]
PromptFlareは,拡散型塗布モデルによる悪質な修正から画像を保護するために設計された,新たな敵対的保護手法である。
提案手法は, 急速埋め込みの固有特性を利用して, 対向ノイズを注入し, サンプリング過程を抑える。
EditBenchデータセットを用いた実験により,本手法が各種メトリクスの最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2025-08-22T08:42:46Z) - ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models [67.75439511654078]
LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。
彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。
OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
論文 参考訳（メタデータ） (2025-07-01T16:01:08Z) - Enhancing Adversarial Robustness of Vision Language Models via Adversarial Mixture Prompt Tuning [14.714776642137247]
Adversarial Mixture Prompt Tuning (AMPT)は、混合テキストプロンプトを学習して、より堅牢なテキスト機能を得る。
一連の実験により,本手法は最先端手法よりも高い対角性が得られることが示された。
論文 参考訳（メタデータ） (2025-05-23T06:04:15Z) - FRAP: Faithful and Realistic Text-to-Image Generation with Adaptive Prompt Weighting [18.708185548091716]
FRAPは、トーケン毎のプロンプト重量を適応的に調整することに基づく、単純で効果的なアプローチである。
FRAPは、複雑なデータセットからのプロンプトに対して、プロンプト画像のアライメントが著しく高い画像を生成する。
また, FRAPとLPMの即時書き直しを併用して, 劣化した即時画像のアライメントを復元する方法について検討した。
論文 参考訳（メタデータ） (2024-08-21T15:30:35Z) - Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt [60.54666043358946]
本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。
特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
論文 参考訳（メタデータ） (2024-06-06T13:00:42Z) - Dynamic Prompt Optimizing for Text-to-Image Generation [63.775458908172176]
テキストから画像への生成モデルを改善するために,textbfPrompt textbfAuto-textbfEditing (PAE)法を導入する。
我々は、各単語の重みと射出時間ステップを探索するために、オンライン強化学習戦略を採用し、動的微調整プロンプトを導いた。
論文 参考訳（メタデータ） (2024-04-05T13:44:39Z) - Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。
我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
論文 参考訳（メタデータ） (2023-11-19T07:47:43Z) - Progressive Visual Prompt Learning with Contrastive Feature Re-formation [15.385630262368661]
本稿では,異なるレイヤのプロンプト間の相互作用を強化するために,プログレッシブ・ビジュアル・プロンプト(ProVP)構造を提案する。
我々のProVPは、画像の埋め込みを深い層に効果的に伝播させ、インスタンス適応的なプロンプトメソッドと部分的に似た振る舞いをすることができる。
我々の知る限り、我々はV-Lモデルにおける視覚的プロンプトの、下流タスクにおける従来のプロンプトベースの手法よりも優れた性能を示す最初の人物である。
論文 参考訳（メタデータ） (2023-04-17T15:54:10Z) - Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
論文 参考訳（メタデータ） (2022-10-05T17:05:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。