論文の概要: LeakSealer: A Semisupervised Defense for LLMs Against Prompt Injection and Leakage Attacks
- arxiv url: http://arxiv.org/abs/2508.00602v1
- Date: Fri, 01 Aug 2025 13:04:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-04 18:08:53.88687
- Title: LeakSealer: A Semisupervised Defense for LLMs Against Prompt Injection and Leakage Attacks
- Title（参考訳）: LeakSealer: プロンプトインジェクションと漏洩攻撃に対するLDMの半監督的な防御
- Authors: Francesco Panebianco, Stefano Bonfanti, Francesco Trovò, Michele Carminati,
- Abstract要約: LeakSealerは、法医学的な洞察のための静的分析とHuman-In-The-Loopパイプラインの動的防御を組み合わせた、モデルに依存しないフレームワークである。
筆者らはLeakSealerを,(1)公開ベンチマークデータセットを用いたジェイルブレイクの試み,(2)ラベル付きLLMインタラクションのキュレートデータセットによってサポートされているPIIリークの2つのシナリオで実証的に評価した。
- 参考スコア（独自算出の注目度）: 7.115093658017371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The generalization capabilities of Large Language Models (LLMs) have led to their widespread deployment across various applications. However, this increased adoption has introduced several security threats, notably in the forms of jailbreaking and data leakage attacks. Additionally, Retrieval Augmented Generation (RAG), while enhancing context-awareness in LLM responses, has inadvertently introduced vulnerabilities that can result in the leakage of sensitive information. Our contributions are twofold. First, we introduce a methodology to analyze historical interaction data from an LLM system, enabling the generation of usage maps categorized by topics (including adversarial interactions). This approach further provides forensic insights for tracking the evolution of jailbreaking attack patterns. Second, we propose LeakSealer, a model-agnostic framework that combines static analysis for forensic insights with dynamic defenses in a Human-In-The-Loop (HITL) pipeline. This technique identifies topic groups and detects anomalous patterns, allowing for proactive defense mechanisms. We empirically evaluate LeakSealer under two scenarios: (1) jailbreak attempts, employing a public benchmark dataset, and (2) PII leakage, supported by a curated dataset of labeled LLM interactions. In the static setting, LeakSealer achieves the highest precision and recall on the ToxicChat dataset when identifying prompt injection. In the dynamic setting, PII leakage detection achieves an AUPRC of $0.97$, significantly outperforming baselines such as Llama Guard.
- Abstract（参考訳）: LLM(Large Language Models)の一般化能力は、様々なアプリケーションに広くデプロイされている。
しかし、この採用の増加は、特にジェイルブレイクやデータ漏洩攻撃の形で、いくつかのセキュリティ上の脅威をもたらしている。
さらに、LLM応答における文脈認識性を高めつつも、機密情報の漏洩につながる脆弱性を不注意に導入している。
私たちの貢献は2倍です。
まず,LLMシステムから過去のインタラクションデータを解析し,トピック(対人インタラクションを含む)によって分類された利用地図の生成を可能にする手法を提案する。
このアプローチはさらに、jailbreaking攻撃パターンの進化を追跡するための法医学的な洞察を提供する。
第2に,Human-In-The-Loop(HITL)パイプラインの静的解析と動的防御を組み合わせたモデルに依存しないフレームワークLeakSealerを提案する。
この技術は、トピックグループを特定し、異常パターンを検出し、プロアクティブな防御機構を可能にする。
筆者らはLeakSealerを,(1)公開ベンチマークデータセットを用いたジェイルブレイクの試み,(2)ラベル付きLLMインタラクションのキュレートデータセットによってサポートされているPIIリークの2つのシナリオで実証的に評価した。
静的設定では、LeakSealerはプロンプトインジェクションを特定する際に、ToxicChatデータセット上で最高精度とリコールを達成する。
ダイナミックな設定では、PIIリーク検出によりAUPRCが0.97ドルに達し、Llama Guardのようなベースラインよりも大幅に向上する。
関連論文リスト
- Multi-Stage Prompt Inference Attacks on Enterprise LLM Systems [18.039444159491733]
エンタープライズ環境にデプロイされる大規模言語モデル(LLM)は、新たなセキュリティ課題に直面している。
敵同士が連携して、徐々に機密データを抽出するように仕向ける。
企業LLMコンテキストにおける多段階的プロンプト推論攻撃の包括的研究について述べる。
論文 参考訳（メタデータ） (2025-07-21T13:38:12Z) - Paper Summary Attack: Jailbreaking LLMs through LLM Safety Papers [61.57691030102618]
我々は新しいジェイルブレイク手法であるペーパー・サプリメント・アタック(llmnamePSA)を提案する。
攻撃に焦点をあてたLLM安全紙からコンテンツを合成し、敵のプロンプトテンプレートを構築する。
実験では、ベースLLMだけでなく、Deepseek-R1のような最先端の推論モデルにも重大な脆弱性がある。
論文 参考訳（メタデータ） (2025-07-17T18:33:50Z) - From Alerts to Intelligence: A Novel LLM-Aided Framework for Host-based Intrusion Detection [16.59938864299474]
大規模言語モデル(LLM)は、ホストベースの侵入検知システム(HIDS)の状態を前進させる大きな可能性を秘めている。
LLMは攻撃技術と、意味解析によって異常を検出する能力について幅広い知識を持っている。
本研究では,HIDSのためのLLMパイプライン構築の方向性について検討し,ShielDというシステムを開発した。
論文 参考訳（メタデータ） (2025-07-15T00:24:53Z) - Wolf Hidden in Sheep's Conversations: Toward Harmless Data-Based Backdoor Attacks for Jailbreaking Large Language Models [69.11679786018206]
Supervised Fine-tuning (SFT) は、大きな言語モデルと人間の意図を協調させ、ラベル付きタスク固有データでトレーニングする。
近年の研究では、悪意のある攻撃者が、有害な質問応答ペアにトリガーを埋め込むことで、これらのモデルにバックドアを注入できることが示されている。
脱獄性LLMに対する新しいクリーンデータバックドアアタックを提案する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - Stealthy LLM-Driven Data Poisoning Attacks Against Embedding-Based Retrieval-Augmented Recommender Systems [16.79952669254101]
検索強化レコメンデータシステム(RAG)におけるプロバイダ側データ中毒について検討する。
アイテム記述内でわずかなトークンだけを変更することで、攻撃者はターゲットのアイテムを著しくプロモートまたはデモすることができる。
MovieLensの実験では、2つの大きな言語モデル(LLM)検索モジュールを使用して、微妙な攻撃でも最終的なランク付けとアイテムの露出が変化し、単純な検出が発覚した。
論文 参考訳（メタデータ） (2025-05-08T12:53:42Z) - Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。
RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。
これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。
我々は、無害な」知識基盤の著作権保護の名称を提案する。
論文 参考訳（メタデータ） (2025-02-10T09:15:56Z) - Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。
私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。
我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
論文 参考訳（メタデータ） (2025-01-05T19:06:03Z) - AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。
包括的な、自動化された、論理的な3つのフレームワークを提案します。
このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
論文 参考訳（メタデータ） (2024-06-06T07:24:41Z) - Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
大規模言語モデル(LLM)は敵の脅威に対して脆弱である。
本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。
そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
論文 参考訳（メタデータ） (2024-06-05T13:06:33Z) - AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。
我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文 参考訳（メタデータ） (2024-03-14T15:57:13Z) - Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。
我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。
ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
論文 参考訳（メタデータ） (2023-12-21T01:08:39Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳（メタデータ） (2023-10-19T06:37:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。