Fugu-MT 論文翻訳(概要): Safeguarding System Prompts for LLMs

論文の概要: Safeguarding System Prompts for LLMs

arxiv url: http://arxiv.org/abs/2412.13426v2
Date: Thu, 09 Jan 2025 14:33:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-10 13:57:16.181166
Title: Safeguarding System Prompts for LLMs
Title（参考訳）: LLMの安全対策
Authors: Zhifeng Jiang, Zhihua Jin, Guoliang He,
Abstract要約: 大規模言語モデル(LLM)は、システムがモデル出力を誘導するアプリケーションでますます利用されている。敵や通常のユーザクエリでさえ、これらの隠れたプロンプトを公開するために脆弱性を悪用することができる。本稿では,システムプロンプトの保護を目的とした堅牢な防御機構であるPromptKeeperを提案する。
参考スコア（独自算出の注目度）: 7.869092877871087
License:
Abstract: Large language models (LLMs) are increasingly utilized in applications where system prompts, which guide model outputs, play a crucial role. These prompts often contain business logic and sensitive information, making their protection essential. However, adversarial and even regular user queries can exploit LLM vulnerabilities to expose these hidden prompts. To address this issue, we propose PromptKeeper, a robust defense mechanism designed to safeguard system prompts. PromptKeeper tackles two core challenges: reliably detecting prompt leakage and mitigating side-channel vulnerabilities when leakage occurs. By framing detection as a hypothesis-testing problem, PromptKeeper effectively identifies both explicit and subtle leakage. Upon detection, it regenerates responses using a dummy prompt, ensuring that outputs remain indistinguishable from typical interactions when no leakage is present. PromptKeeper ensures robust protection against prompt extraction attacks via either adversarial or regular queries, while preserving conversational capability and runtime efficiency during benign user interactions.
Abstract（参考訳）: 大規模言語モデル(LLM)は、モデル出力を誘導するシステムプロンプトが重要な役割を果たすアプリケーションでますます活用されている。これらのプロンプトにはビジネスロジックや機密情報が含まれており、保護が不可欠である。しかし、敵や通常のユーザクエリでさえも、LSMの脆弱性を利用してこれらの隠されたプロンプトを公開することができる。この問題に対処するために,システムプロンプトの保護を目的とした堅牢な防御機構であるPromptKeeperを提案する。 PromptKeeperは、即時リークを確実に検出し、リークが発生した場合にサイドチャネルの脆弱性を緩和する、という2つの主要な課題に取り組む。 PromptKeeperは、仮説テスト問題として検出をフレーミングすることにより、明示的および微妙な漏洩の両方を効果的に識別する。検出されると、ダミープロンプトを使用して応答を再生し、漏れがない場合に出力が通常の相互作用と区別できないようにする。 PromptKeeperは、会話能力と実行効率を良質なユーザインタラクション中に保ちながら、逆クエリまたは正規クエリによるプロンプト抽出攻撃に対する堅牢な保護を保証する。

関連論文リスト

Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
論文参考訳（メタデータ） (2024-10-07T19:34:35Z)
Safeguard is a Double-edged Sword: Denial-of-service Attack on Large Language Models [7.013820690538764]
大規模言語モデル(LLM)に対する新たなDoS攻撃を提案する。ソフトウェアやフィッシング攻撃によって、攻撃者は短い、一見無害な敵のプロンプトを設定ファイルのユーザープロンプトに挿入する。我々の攻撃は、Llama Guard 3の97%以上のユーザリクエストを普遍的にブロックする、約30文字の、一見安全な敵のプロンプトを自動的に生成できる。
論文参考訳（メタデータ） (2024-10-03T19:07:53Z)
Prompt Obfuscation for Large Language Models [8.395454692830322]
本研究では,従来のシステムプロンプトの代替案を提案する。システムプロンプトの抽出を防止するために,プロンプト難読化を導入する。提案手法は,知的財産権の保護に有効な手法でありながら,本来のシステムプロンプトと同じ実用性を維持しつつも有効であることを示す。
論文参考訳（メタデータ） (2024-09-17T09:43:29Z)
AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs [51.217126257318924]
本稿では,AdvPrompterと呼ばれる新たな大規模言語モデルを用いて,人間可読な逆数プロンプトを数秒で生成する手法を提案する。我々は、ターゲットLLMの勾配にアクセスする必要がない新しいアルゴリズムを用いてAdvPrompterを訓練する。訓練されたAdvPrompterは、TargetLLMを誘引して有害な応答を与えるように、意味を変えずに入力命令を無効にする接尾辞を生成する。
論文参考訳（メタデータ） (2024-04-21T22:18:13Z)
Defending Against Indirect Prompt Injection Attacks With Spotlighting [11.127479817618692]
一般的なアプリケーションでは、複数の入力は1つのテキストストリームにまとめることで処理できる。間接的なプロンプトインジェクション攻撃は、ユーザコマンドと共に処理されている信頼できないデータに、敵命令を埋め込むことによって、この脆弱性を利用する。我々は,複数の入力源を識別するLLMの能力を向上させるために,迅速なエンジニアリング技術群であるスポットライティングを紹介した。
論文参考訳（メタデータ） (2024-03-20T15:26:23Z)
AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文参考訳（メタデータ） (2024-03-14T15:57:13Z)
On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
論文参考訳（メタデータ） (2024-01-31T17:28:24Z)
ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
論文参考訳（メタデータ） (2023-12-30T01:26:42Z)
Effective Prompt Extraction from Language Models [70.00099540536382]
本稿では,迅速な抽出攻撃の有効性を評価するための枠組みを提案する。 3つの異なるプロンプトと11の基盤となる大規模言語モデルによる実験では、単純なテキストベースの攻撃は、実際に高い確率でプロンプトを明らかにすることができる。本フレームワークは,抽出したプロンプトがモデル幻覚ではなく実際の秘密プロンプトであるか否かを高精度に判定する。
論文参考訳（メタデータ） (2023-07-13T16:15:08Z)
Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。