Fugu-MT 論文翻訳(概要): Bypassing the Safety Training of Open-Source LLMs with Priming Attacks

論文の概要: Bypassing the Safety Training of Open-Source LLMs with Priming Attacks

arxiv url: http://arxiv.org/abs/2312.12321v2
Date: Fri, 17 May 2024 05:27:25 GMT
ステータス: 処理完了
システム内更新日: 2024-05-20 20:23:25.373717
Title: Bypassing the Safety Training of Open-Source LLMs with Priming Attacks
Title（参考訳）: プライミングアタックによるオープンソースLDMの安全性トレーニングの回避
Authors: Jason Vega, Isha Chaudhary, Changming Xu, Gagandeep Singh,
Abstract要約: 本稿では,SOTA オープンソース LLM の脆弱性を,単純かつ最適化不要な攻撃下で検討する。提案攻撃は,Llama Guardが測定した有害行動に対する攻撃成功率を,ベースラインと比較して最大3.3倍向上させる。
参考スコア（独自算出の注目度）: 3.8023902618391783
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With the recent surge in popularity of LLMs has come an ever-increasing need for LLM safety training. In this paper, we investigate the fragility of SOTA open-source LLMs under simple, optimization-free attacks we refer to as $\textit{priming attacks}$, which are easy to execute and effectively bypass alignment from safety training. Our proposed attack improves the Attack Success Rate on Harmful Behaviors, as measured by Llama Guard, by up to $3.3\times$ compared to baselines. Source code and data are available at https://github.com/uiuc-focal-lab/llm-priming-attacks.
Abstract（参考訳）: 近年LLMの人気が高まっているため、LLMの安全訓練の必要性はますます高まっている。本稿では,SOTA オープンソース LLM の脆弱性を,安全訓練からのアライメントを効果的に回避し,実行が容易な$\textit{priming attack}$ と呼ぶ,シンプルで最適化のない攻撃下で検討する。我々の提案した攻撃は、Llama Guardが測定した有害行動に対する攻撃成功率を、ベースラインと比較して最大3.3\times$で改善する。ソースコードとデータはhttps://github.com/uiuc-focal-lab/llm-priming- attacksで公開されている。

関連論文リスト

Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
論文参考訳（メタデータ） (2024-10-07T19:34:35Z)
MaPPing Your Model: Assessing the Impact of Adversarial Attacks on LLM-based Programming Assistants [14.947665219536708]
本稿では,攻撃者がプログラムタスクのプロンプトに少量のテキストを付加するMalicious Programming Prompt(MaPP)攻撃を紹介する。我々の迅速な戦略は、LSMが他の方法で正しいコードを書き続けながら脆弱性を追加する可能性があることを示しています。
論文参考訳（メタデータ） (2024-07-12T22:30:35Z)
ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
論文参考訳（メタデータ） (2024-02-25T06:46:27Z)
PAL: Proxy-Guided Black-Box Attack on Large Language Models [55.57987172146731]
大規模言語モデル(LLM)は近年人気が高まっているが、操作時に有害なコンテンツを生成する能力を示している。 PAL(Proxy-Guided Attack on LLMs)は, ブラックボックスクエリのみの設定で, LLMに対する最初の最適化ベースの攻撃である。 GPT-3.5-Turboの攻撃成功率は84%,Llama-2-7Bの攻撃成功率は48%であった。
論文参考訳（メタデータ） (2024-02-15T02:54:49Z)
Salsa Fresca: Angular Embeddings and Pre-Training for ML Attacks on Learning With Errors [10.800552110718714]
LWE(Learning with Errors)は、鍵交換とデジタル署名のための量子後暗号システムの基礎となる難解な数学問題である。以前の作業では、小さな秘密を持つLWE問題に対する機械学習(ML)ベースの新たな攻撃を提案したが、これらの攻撃には、秘密をトレーニングし、回復するのに数日を要する数百万のLWEサンプルが必要である。我々は、これらの攻撃を改善するために、3つの重要な方法、より良い前処理、角埋め込み、モデル事前訓練を提案する。
論文参考訳（メタデータ） (2024-02-02T00:48:27Z)
A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。ジェイルブレイク」と呼ばれる敵のプロンプトは保護を回避できる有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
論文参考訳（メタデータ） (2023-11-14T16:02:16Z)
Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
論文参考訳（メタデータ） (2023-10-19T06:15:05Z)
SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文参考訳（メタデータ） (2023-10-05T17:01:53Z)
Goal-Oriented Prompt Attack and Safety Evaluation for LLMs [43.93613764464993]
高品質なプロンプト攻撃サンプルを構築するパイプラインと、CPADと呼ばれる中国のプロンプト攻撃データセットを導入する。我々のプロンプトは、慎重に設計されたいくつかのプロンプトアタックテンプレートで、予期せぬ出力を生成するためにLSMを誘導することを目的としている。 GPT-3.5に対する攻撃成功率は70%程度であった。
論文参考訳（メタデータ） (2023-09-21T07:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。