論文の概要: Automatic and Universal Prompt Injection Attacks against Large Language
Models
- arxiv url: http://arxiv.org/abs/2403.04957v1
- Date: Thu, 7 Mar 2024 23:46:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 21:24:27.251009
- Title: Automatic and Universal Prompt Injection Attacks against Large Language
Models
- Title(参考訳): 大規模言語モデルに対する自動および普遍的プロンプトインジェクション攻撃
- Authors: Xiaogeng Liu, Zhiyuan Yu, Yizhe Zhang, Ning Zhang, Chaowei Xiao
- Abstract要約: LLM(Large Language Models)は、命令を解釈し、従う能力によって、人間の言語を処理し、生成する際、優れた言語モデルである。
これらの攻撃はアプリケーションを操作して、ユーザの実際の要求から逸脱して、攻撃者のインジェクトされたコンテンツに対応する応答を生成する。
本稿では,プロンプトインジェクション攻撃の目的を理解するための統合フレームワークを導入し,高効率で普遍的なインジェクションデータを生成するための自動勾配ベース手法を提案する。
- 参考スコア(独自算出の注目度): 38.694912482525446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) excel in processing and generating human
language, powered by their ability to interpret and follow instructions.
However, their capabilities can be exploited through prompt injection attacks.
These attacks manipulate LLM-integrated applications into producing responses
aligned with the attacker's injected content, deviating from the user's actual
requests. The substantial risks posed by these attacks underscore the need for
a thorough understanding of the threats. Yet, research in this area faces
challenges due to the lack of a unified goal for such attacks and their
reliance on manually crafted prompts, complicating comprehensive assessments of
prompt injection robustness. We introduce a unified framework for understanding
the objectives of prompt injection attacks and present an automated
gradient-based method for generating highly effective and universal prompt
injection data, even in the face of defensive measures. With only five training
samples (0.3% relative to the test data), our attack can achieve superior
performance compared with baselines. Our findings emphasize the importance of
gradient-based testing, which can avoid overestimation of robustness,
especially for defense mechanisms.
- Abstract(参考訳): 大きな言語モデル(LLM)は、人間の言語を解釈し、従う能力によって、処理と生成に優れる。
しかし、それらの能力は即時インジェクション攻撃によって利用することができる。
これらの攻撃は、LDM統合されたアプリケーションを操作して、攻撃者のインジェクトされたコンテンツに対応する応答を生成し、ユーザの実際の要求から逸脱する。
これらの攻撃によって生じる実質的なリスクは、脅威の完全な理解の必要性の核心である。
しかし、こうした攻撃に対する統一的な目標の欠如と手作業によるプロンプトへの依存のため、この分野の研究は課題に直面しており、迅速なインジェクションロバスト性に関する包括的な評価を複雑にしている。
本稿では,プロンプトインジェクション攻撃の目的を理解するための統一フレームワークを導入し,防御的対策に直面することなく,高度に効率的かつ普遍的なプロンプトインジェクションデータを生成するための自動勾配ベース手法を提案する。
5つのトレーニングサンプル(テストデータに対して0.3%)だけで,攻撃はベースラインと比較して優れたパフォーマンスが得られる。
本研究は,特に防御機構において,頑健さの過大評価を回避できる勾配試験の重要性を強調した。
関連論文リスト
- Benchmarking and Defending Against Indirect Prompt Injection Attacks on
Large Language Models [82.98081731588717]
大規模な言語モデルと外部コンテンツの統合は、間接的にインジェクション攻撃を行うアプリケーションを公開する。
本稿では,BIPIAと呼ばれる間接的インジェクション攻撃のリスクを評価するための最初のベンチマークについて紹介する。
我々は,素早い学習に基づく2つのブラックボックス法と,逆行訓練による微調整に基づくホワイトボックス防御法を開発した。
論文 参考訳(メタデータ) (2023-12-21T01:08:39Z) - Backdoor Activation Attack: Attack Large Language Models using
Activation Steering for Safety-Alignment [36.91218391728405]
本稿では,Large Language Modelsの安全性アライメントの脆弱性について検討する。
LLMの既存の攻撃方法は、有毒な訓練データや悪意のあるプロンプトの注入に依存している。
最適化を必要とせず, ステアリングベクターによるモデル動作の修正に成功した最近の成功に触発されて, リピートLLMにおけるその有効性に着想を得た。
実験の結果,アクティベーションアタックは極めて効果的であり,攻撃効率のオーバーヘッドはほとんどあるいは全く生じないことが判明した。
論文 参考訳(メタデータ) (2023-11-15T23:07:40Z) - Robust Safety Classifier for Large Language Models: Adversarial Prompt
Shield [7.5520641322945785]
大規模言語モデルの安全性は、敵の攻撃に対する脆弱性のため、依然として重要な懸念事項である。
本稿では,検出精度を向上し,対向プロンプトに対するレジリエンスを示す軽量モデルであるAdversarial Prompt Shield(APS)を紹介する。
また、対戦型トレーニングデータセットを自律的に生成するための新しい戦略を提案する。
論文 参考訳(メタデータ) (2023-10-31T22:22:10Z) - Defending Pre-trained Language Models as Few-shot Learners against
Backdoor Attacks [72.03945355787776]
軽快でプラガブルで効果的な PLM 防御である MDP を,少人数の学習者として提唱する。
我々は,MDPが攻撃の有効性と回避性の両方を選択できる興味深いジレンマを発生させることを解析的に示す。
論文 参考訳(メタデータ) (2023-09-23T04:41:55Z) - Evaluating the Instruction-Following Robustness of Large Language Models
to Prompt Injection [70.28425745910711]
LLM(Large Language Models)は、命令追従に非常に熟練した言語である。
この能力は、迅速なインジェクション攻撃のリスクをもたらす。
このような攻撃に対する命令追従LDMの堅牢性を評価する。
論文 参考訳(メタデータ) (2023-08-17T06:21:50Z) - Unveiling Vulnerabilities in Interpretable Deep Learning Systems with
Query-Efficient Black-box Attacks [16.13790238416691]
解釈可能なディープラーニングシステム(IDLS)は、システムの透明性と説明性を高めるために設計されている。
本稿では,ターゲットモデルとその解釈モデルに関する事前知識を必要としない新規な微生物遺伝アルゴリズムによるIDLSに対するブラックボックス攻撃を提案する。
論文 参考訳(メタデータ) (2023-07-21T21:09:54Z) - Prompt Injection attack against LLM-integrated Applications [37.86878788874201]
本研究では,実際のLCM統合アプリケーションに対するインジェクション攻撃の複雑さと意味を分解する。
従来のWebインジェクション攻撃からインスピレーションを得る新しいブラックボックスプロンプトインジェクション攻撃手法であるHouYiを定式化した。
我々は,実際のLLM統合アプリケーション36にHouYiをデプロイし,インジェクションの容易な31のアプリケーションを識別する。
論文 参考訳(メタデータ) (2023-06-08T18:43:11Z) - Illusory Attacks: Detectability Matters in Adversarial Attacks on
Sequential Decision-Makers [74.8408990716076]
既存の強化学習エージェントに対する観測空間攻撃は共通の弱点を有することを示す。
提案手法は, 有効かつ統計的に検出不可能な, 逐次的意思決定者に対する新たな攻撃形態である完全照準攻撃を導入する。
従来の攻撃と比較すると、R攻撃は自動で検出するのがかなり難しいことが実証されている。
論文 参考訳(メタデータ) (2022-07-20T19:49:09Z) - Adversarial defense for automatic speaker verification by cascaded
self-supervised learning models [101.42920161993455]
ますます悪意のある攻撃者は、自動話者検証(ASV)システムで敵攻撃を仕掛けようとする。
本稿では,逐次的自己教師付き学習モデルに基づく標準的かつ攻撃非依存な手法を提案する。
実験により, 本手法は効果的な防御性能を実現し, 敵攻撃に対抗できることを示した。
論文 参考訳(メタデータ) (2021-02-14T01:56:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。