Fugu-MT 論文翻訳(概要): Soft Begging: Modular and Efficient Shielding of LLMs against Prompt Injection and Jailbreaking based on Prompt Tuning

論文の概要: Soft Begging: Modular and Efficient Shielding of LLMs against Prompt Injection and Jailbreaking based on Prompt Tuning

arxiv url: http://arxiv.org/abs/2407.03391v1
Date: Wed, 3 Jul 2024 14:52:09 GMT
ステータス: 処理完了
システム内更新日: 2024-07-08 20:20:26.136599
Title: Soft Begging: Modular and Efficient Shielding of LLMs against Prompt Injection and Jailbreaking based on Prompt Tuning
Title（参考訳）: ソフト・ベグ: プロンプト・チューニングに基づくプロンプト・インジェクション・ジェイルブレイクに対するLCMのモジュール的かつ効率的な遮蔽
Authors: Simon Ostermann, Kevin Baum, Christoph Endres, Julia Masloh, Patrick Schramowski,
Abstract要約: この抽象概念は、"soft begging"と呼ばれる、インジェクションやジェイルブレイク攻撃から大きな言語モデルを保護する新しいアプローチを探求している。本稿では,インジェクションとジェイルブレイクについて概説し,この手法の理論的基礎を紹介し,その有効性について論じる。
参考スコア（独自算出の注目度）: 8.273997600635271
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prompt injection (both direct and indirect) and jailbreaking are now recognized as significant issues for large language models (LLMs), particularly due to their potential for harm in application-integrated contexts. This extended abstract explores a novel approach to protecting LLMs from such attacks, termed "soft begging." This method involves training soft prompts to counteract the effects of corrupted prompts on the LLM's output. We provide an overview of prompt injections and jailbreaking, introduce the theoretical basis of the "soft begging" technique, and discuss an evaluation of its effectiveness.
Abstract（参考訳）: プロンプトインジェクション(直接的および間接的の両方)とジェイルブレイクは、特にアプリケーション統合コンテキストにおいて有害な可能性があるため、大規模言語モデル(LLM)の重要な問題として認識されるようになった。この拡張抽象概念は、LSMをこのような攻撃から保護するための新しいアプローチを探求し、「ソフト・ギグ(soft begging)」と呼ばれる。この方法は、LSMの出力に対する劣化したプロンプトの影響を対処するためのソフトプロンプトの訓練を含む。本稿では,インジェクションとジェイルブレイクについて概説し,この手法の理論的基礎を紹介し,その有効性について論じる。

関連論文リスト

Improved Large Language Model Jailbreak Detection via Pretrained Embeddings [0.0]
本稿では,従来の機械学習分類アルゴリズムを用いた検索に適したペアリングテキスト埋め込みに基づくジェイルブレイクプロンプトの検出手法を提案する。当社のアプローチは,オープンソースのLLMセキュリティアプリケーションから入手可能なすべてのメソッドを上回ります。
論文参考訳（メタデータ） (2024-12-02T14:35:43Z)
Jailbreak Instruction-Tuned LLMs via end-of-sentence MLP Re-weighting [6.263011023287022]
命令微調整言語モデル(LLM)の安全性機構について検討する。我々は,新しいホワイトボックス・ジェイルブレイク法(プロンプト固有法とプロンプト一般法)を開発した。提案手法は,2Bから72Bまでの7種類のオープンソースLLMに対して,堅牢な性能を示す。
論文参考訳（メタデータ） (2024-10-14T04:32:22Z)
RePD: Defending Jailbreak Attack through a Retrieval-based Prompt Decomposition Process [23.66988994636578]
我々は,大規模言語モデル(LLM)に対するジェイルブレイク攻撃のリスクを軽減するために設計された,革新的な攻撃フレームワークであるPDを導入する。 RePDはワンショットの学習モデルで動作し、Jailbreakプロンプトテンプレートのデータベースにアクセスして、ユーザプロンプトに埋め込まれた有害な問い合わせを特定して分解する。我々は,典型的なユーザ要求に応答する際の性能を損なうことなく,LDMのジェイルブレイク攻撃に対するレジリエンスを高めるためのRePDの有効性を実証した。
論文参考訳（メタデータ） (2024-10-11T09:39:11Z)
Jailbreaking Large Language Models Through Alignment Vulnerabilities in Out-of-Distribution Settings [57.136748215262884]
本稿では,ObscurePrompt for jailbreaking LLMを紹介し,OOD(Out-of-Distribution)データにおける脆弱なアライメントに着想を得た。まず、脱獄過程における決定境界を定式化し、次にLLMの倫理的決定境界に不明瞭な文章がどう影響するかを考察する。本手法は,2つの防御機構に対する有効性を保ちながら,攻撃効果の観点から従来の手法を大幅に改善する。
論文参考訳（メタデータ） (2024-06-19T16:09:58Z)
Subtoxic Questions: Dive Into Attitude Change of LLM's Response in Jailbreak Attempts [13.176057229119408]
Prompt Jailbreakingの言語モデル(LLM)がますます注目を集めています。本稿では,ジェイルブレイクのプロンプトに対して本質的により敏感な,対象とする一連の質問に焦点をあてて,新しいアプローチを提案する。
論文参考訳（メタデータ） (2024-04-12T08:08:44Z)
AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文参考訳（メタデータ） (2024-03-14T15:57:13Z)
DrAttack: Prompt Decomposition and Reconstruction Makes Powerful LLM Jailbreakers [74.7446827091938]
我々はjailbreak textbfAttack (DrAttack) のための自動プロンプト textbfDecomposition と textbfReconstruction フレームワークを導入する。 DrAttack には3つの重要な要素が含まれている: (a) プロンプトをサブプロンプトに分解する; (b) セマンティックに類似しているが無害な再組み立てデモで暗黙的にこれらのサブプロンプトを再構築する; (c) サブプロンプトのシンノニム検索する; サブプロンプトのシノニムを見つけることを目的としたサブプロンプトのシノニムを見つけること。
論文参考訳（メタデータ） (2024-02-25T17:43:29Z)
Signed-Prompt: A New Approach to Prevent Prompt Injection Attacks Against LLM-Integrated Applications [0.0]
本稿では,早期のインジェクション攻撃に対する新しい解決策として,Signed-Prompt法を提案する。この研究には、権限のあるユーザによるコマンドセグメント内の機密命令の署名が含まれており、LLMは信頼できる命令ソースを識別することができる。実験はSigned-Prompt法の有効性を示し、様々な種類のプロンプトインジェクション攻撃に対してかなりの抵抗を示した。
論文参考訳（メタデータ） (2024-01-15T11:44:18Z)
Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
論文参考訳（メタデータ） (2023-12-21T01:08:39Z)
Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
LLM(Large Language Models)は、命令追従に非常に熟練した言語である。この能力は、迅速なインジェクション攻撃のリスクをもたらす。このような攻撃に対する命令追従LDMの堅牢性を評価する。
論文参考訳（メタデータ） (2023-08-17T06:21:50Z)
Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。