論文の概要: Transferable Direct Prompt Injection via Activation-Guided MCMC Sampling

• arxiv url: http://arxiv.org/abs/2509.07617v1
• Date: Tue, 09 Sep 2025 11:42:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.287364
• Title: Transferable Direct Prompt Injection via Activation-Guided MCMC Sampling
• Title（参考訳）: アクティベーション誘導MCMCサンプリングによる直接プロンプト注入
• Authors: Minghui Li, Hao Zhang, Yechao Zhang, Wei Wan, Shengshan Hu, pei Xiaobing, Jing Wang,
• Abstract要約: 直接プロンプトインジェクション(DPI)攻撃は、実行の障壁が低く、潜在的なダメージが大きいため、大規模言語モデル(LLM)に重大なセキュリティ上の脅威をもたらす。 既存のホワイトボックス/グレイボックス方式の非現実性とブラックボックス方式の転送容易性に対処するために,アクティベーション誘導型プロンプトインジェクション攻撃フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 30.157082498075315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct Prompt Injection (DPI) attacks pose a critical security threat to Large Language Models (LLMs) due to their low barrier of execution and high potential damage. To address the impracticality of existing white-box/gray-box methods and the poor transferability of black-box methods, we propose an activations-guided prompt injection attack framework. We first construct an Energy-based Model (EBM) using activations from a surrogate model to evaluate the quality of adversarial prompts. Guided by the trained EBM, we employ the token-level Markov Chain Monte Carlo (MCMC) sampling to adaptively optimize adversarial prompts, thereby enabling gradient-free black-box attacks. Experimental results demonstrate our superior cross-model transferability, achieving 49.6% attack success rate (ASR) across five mainstream LLMs and 34.6% improvement over human-crafted prompts, and maintaining 36.6% ASR on unseen task scenarios. Interpretability analysis reveals a correlation between activations and attack effectiveness, highlighting the critical role of semantic patterns in transferable vulnerability exploitation.
• Abstract（参考訳）: 直接プロンプトインジェクション(DPI)攻撃は、実行の障壁が低く、潜在的なダメージが大きいため、大規模言語モデル(LLM)に重大なセキュリティ上の脅威をもたらす。 既存のホワイトボックス/グレイボックス方式の非現実性とブラックボックス方式の転送容易性に対処するために,アクティベーション誘導型プロンプトインジェクション攻撃フレームワークを提案する。 まず、代理モデルからの活性化を用いてエネルギーベースモデル(EBM)を構築し、敵対的プロンプトの品質を評価する。 訓練されたEMMによって誘導され、トークンレベルのMarkov Chain Monte Carlo(MCMC)サンプリングを用いて、敵のプロンプトを適応的に最適化し、勾配のないブラックボックス攻撃を可能にする。 実験の結果、我々の優れたクロスモデル転送可能性を示し、5つの主要なLCMに対して49.6%の攻撃成功率(ASR)を達成し、人為的なプロンプトよりも34.6%の改善を達成し、目に見えないタスクシナリオにおいて36.6%のASRを維持した。 解釈可能性分析は、アクティベーションとアタックの有効性の相関を明らかにし、転送可能な脆弱性攻撃におけるセマンティックパターンの重要な役割を強調している。

関連論文リスト

• TopicAttack: An Indirect Prompt Injection Attack via Topic Transition [71.81906608221038]
  大規模言語モデル(LLM)は間接的なインジェクション攻撃に対して脆弱である。 提案するTopicAttackは,LLMに生成した遷移プロンプトを生成し,徐々にトピックをインジェクション命令にシフトさせる。 提案手法は, インジェクトからオリジナルへのアテンション比が高く, 成功確率が高く, ベースライン法よりもはるかに高い比を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-07-18T06:23:31Z)
• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• Chain of Attack: On the Robustness of Vision-Language Models Against Transfer-Based Adversarial Attacks [34.40254709148148]
  事前学習された視覚言語モデル(VLM)は、画像および自然言語理解において顕著な性能を示した。 彼らの潜在的な安全性と堅牢性の問題は、敵がシステムを回避し、悪意のある攻撃を通じて有害なコンテンツを生成することを懸念する。 本稿では,マルチモーダルなセマンティック・アップデートに基づいて,敵対的事例の生成を反復的に促進するアタック・チェーン(CoA)を提案する。
  論文  参考訳（メタデータ） (2024-11-24T05:28:07Z)
• Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
  大規模言語モデル(LLM)は敵の脅威に対して脆弱である。 本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。 そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
  論文  参考訳（メタデータ） (2024-06-05T13:06:33Z)
• Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
  レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。 新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。 我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2024-05-28T19:16:17Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。