論文の概要: Detecting and Mitigating Query-Based System Prompt Leakage Attacks
- arxiv url: http://arxiv.org/abs/2610.36295v1
- Date: Mon, 26 Oct 2026 21:23:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.436503
- Title: Detecting and Mitigating Query-Based System Prompt Leakage Attacks
- Title（参考訳）: クエリベースのシステムプロンプト漏洩攻撃の検出と軽減
- Abstract要約: 大規模言語モデルは、タスクディレクティブ、安全ポリシー、アクセス制御を強制する独自のシステムプロンプトに依存している。
ブラックボックスの敵は適応的多ターン相互作用を通じて秘密命令を抽出する。
本稿では,システムプロンプトリークを検出するためのモデルに依存しないフレームワークであるAdvGuardを紹介する。
- 参考スコア（独自算出の注目度）: 14.498119834308726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) rely on proprietary system prompts to enforce task directives, safety policies, and access controls. These prompts are vulnerable to query-based leakage attacks, where black-box adversaries extract confidential instructions through adaptive, multi-turn interactions. Existing defenses often assess queries independently, missing malicious behavior that emerges across interactions. We present AdvGuard, a model-agnostic framework for detecting and mitigating system prompt leakage. AdvGuard models cross-query relationships using a bounded semantic interaction graph, statistically filters candidate components, and converts them into line graphs for graph convolutional network (GCN) classification. This approach captures multi-hop patterns in query similarity that distinguish coordinated extraction from benign workflows. A lightweight prompt-level detector provides protection before sufficient interaction history accumulates, and the framework supports black-box LLM deployments. In mixed-query evaluations, AdvGuard improves recall by up to 36% over the strongest baseline while maintaining a false positive rate of at most 3.4%. In multi-turn workloads, it achieves 97.23%-99.1% F1 with 100% recall. Leave-one-attack-family-out tests yield 99.98% mean recall and 99.99% mean F1, with no observed false positives. Integrated into the adaptive PLeak and LeakAgent attack loops, AdvGuard limits exact-match leakage to 0.00-0.01 and substring-match leakage to 0.01-0.09 across evaluated victim models. These results demonstrate robust detection of unseen attack families and substantially reduced prompt reconstruction.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、タスクディレクティブ、安全ポリシー、アクセス制御を強制する独自のシステムプロンプトに依存している。
これらのプロンプトはクエリベースの漏洩攻撃に対して脆弱であり、ブラックボックスの敵は適応的なマルチターンインタラクションを通じて秘密命令を抽出する。
既存のディフェンスはクエリを独立して評価することが多い。
本稿では,システムプロンプトリークを検出するためのモデルに依存しないフレームワークであるAdvGuardを紹介する。
AdvGuardは、境界付きセマンティック相互作用グラフを使用してクロスクエリ関係をモデル化し、候補コンポーネントを統計的にフィルタリングし、それらをグラフ畳み込みネットワーク(GCN)分類のための線グラフに変換する。
このアプローチは、良性ワークフローからの協調抽出を区別するクエリ類似性のマルチホップパターンをキャプチャする。
十分な相互作用履歴が蓄積される前に、軽量なプロンプトレベルの検出器が保護を提供し、フレームワークはブラックボックスLSMデプロイメントをサポートする。
混合クエリの評価では、AdvGuardは最強のベースラインに対してリコールを最大36%改善し、偽陽性率は少なくとも3.4%を維持している。
マルチターンワークロードでは、100%リコールで97.23%-99.1%のF1を達成する。
左ワンアタック・ファミリーアウトテストでは99.98%が平均リコール、99.99%がF1であり、偽陽性は見られていない。
適応的なPLeakとLeakAgent攻撃ループに統合されたAdvGuardは、正確なマッチリークを0.00-0.01、サブストリングマッチリークを0.01-0.09に制限した。
これらの結果は、目に見えない攻撃ファミリーの堅牢な検出と、即時再建の大幅な削減を証明している。
関連論文リスト
- WaSA: Wavelet Scattering Autoencoders for Unsupervised Offline Detection of Malicious Clients in Federated Learning [51.56484100374058]
Federated Learning(FL)は、生データを公開することなく、協調的なモデルトレーニングを可能にする。
我々は、悪意のあるクライアント検出のための完全に教師なしのオフラインフレームワーク、WaSAを提案する。
クリーンな補助データのみに基づいて訓練されたデノナイジングオートエンコーダは、学習された良性多様体からの偏差に基づいてクライアントをスコアする。
論文 参考訳（メタデータ） (2026-10-09T08:10:10Z) - The System Prompt Is the Attack Surface: How LLM Agent Configuration Shapes Security and Creates Exploitable Vulnerabilities [0.0]
PhishNChipsは、10の迅速な戦略に基づく11のモデルの研究である。
単一モデルのフィッシングバイパス速度は、設定方法によって1%未満から97%の範囲である。
高い予測信号に関するプロンプトの最適化により,ベンチマーク性能が向上することを示す。
論文 参考訳（メタデータ） (2026-03-26T05:48:37Z) - The Cognitive Firewall:Securing Browser Based AI Agents Against Indirect Prompt Injection Via Hybrid Edge Cloud Defense [0.0]
Cognitive Firewallは3段階の分割計算アーキテクチャで、クライアントとクラウドにセキュリティチェックを分散する。
システムは、ローカルビジュアルセンチネル、クラウドベースのDeep Planner、実行時ポリシーを強制する決定論的ガードで構成される。
論文 参考訳（メタデータ） (2026-03-24T23:49:15Z) - StealthRL: Reinforcement Learning Paraphrase Attacks for Multi-Detector Evasion of AI-Text Detectors [0.0]
StealthRLはAIテキスト検出のための強化学習フレームワークである。
我々は,現実的な対向条件下で,マルチ検出器アンサンブルに対してパラフレーズポリシーを訓練する。
StealthRLはゼロに近い検出を実現し、平均AUROCを0.74から0.27に減らし、99.9%の攻撃成功率を達成した。
論文 参考訳（メタデータ） (2026-02-09T17:33:46Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。
CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文 参考訳（メタデータ） (2025-12-01T07:05:23Z) - Sentra-Guard: A Multilingual Human-AI Framework for Real-Time Defense Against Adversarial LLM Jailbreaks [0.31984926651189866]
Sentra-Guardは、大規模言語モデル(LLM)のためのリアルタイムモジュールディフェンスシステムである。
このフレームワークは、FAISSにインデックスされたSBERT埋め込み表現とハイブリッドアーキテクチャを使用して、プロンプトの意味をキャプチャする。
直接攻撃ベクトルと難解攻撃ベクトルの両方において、敵のプロンプトを識別する。
論文 参考訳（メタデータ） (2025-10-26T11:19:47Z) - BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。
BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文 参考訳（メタデータ） (2025-08-11T16:04:47Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning [93.77763753231338]
CLIP画像エンコーダを微調整し、2つの中間対向クエリに対して同様の埋め込みを抽出するために、ACPT(Adversarial Contrastive Prompt Tuning)を提案する。
我々は,ACPTが7つの最先端クエリベースの攻撃を検出できることを示す。
また,ACPTは3種類のアダプティブアタックに対して堅牢であることを示す。
論文 参考訳（メタデータ） (2024-08-04T09:53:50Z) - BaFFLe: Backdoor detection via Feedback-based Federated Learning [3.6895394817068357]
フィードバックに基づくフェデレーション学習(BAFFLE)によるバックドア検出を提案する。
BAFFLEは,最先端のバックドア攻撃を100%,偽陽性率5%以下で確実に検出できることを示す。
論文 参考訳（メタデータ） (2020-11-04T07:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。