論文の概要: Is the System Message Really Important to Jailbreaks in Large Language Models?
- arxiv url: http://arxiv.org/abs/2402.14857v2
- Date: Tue, 18 Jun 2024 19:22:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 05:09:24.235538
- Title: Is the System Message Really Important to Jailbreaks in Large Language Models?
- Title（参考訳）: 大規模言語モデルのジェイルブレイクにとってシステムメッセージは本当に重要か?
- Authors: Xiaotian Zou, Yongkang Chen, Ke Li,
- Abstract要約: ジェイルブレイク(Jailbreak)とは、LSMが悪意ある質問をきっかけに発生した予期せぬ、潜在的に有害な反応のこと。
既存の研究はジェイルブレイクプロンプトの生成に重点を置いているが、システムメッセージの設定は実験によって大きく異なる。
メインストリームのLLMで実験を行い、さまざまなシステムメッセージ(ショート、ロング、ノー)でジェイルブレイクプロンプトを生成します。
本稿では,システムメッセージ進化アルゴリズム (SMEA) を提案する。
- 参考スコア（独自算出の注目度）: 4.477597131613079
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid evolution of Large Language Models (LLMs) has rendered them indispensable in modern society. While security measures are typically to align LLMs with human values prior to release, recent studies have unveiled a concerning phenomenon named "Jailbreak". This term refers to the unexpected and potentially harmful responses generated by LLMs when prompted with malicious questions. Most existing research focus on generating jailbreak prompts but system message configurations vary significantly in experiments. In this paper, we aim to answer a question: Is the system message really important for jailbreaks in LLMs? We conduct experiments in mainstream LLMs to generate jailbreak prompts with varying system messages: short, long, and none. We discover that different system messages have distinct resistances to jailbreaks. Therefore, we explore the transferability of jailbreaks across LLMs with different system messages. Furthermore, we propose the System Messages Evolutionary Algorithm (SMEA) to generate system messages that are more resistant to jailbreak prompts, even with minor changes. Through SMEA, we get a robust system messages population with little change in the length of system messages. Our research not only bolsters LLMs security but also raises the bar for jailbreaks, fostering advancements in this field of study.
- Abstract（参考訳）: LLM(Large Language Models)の急速な進化は、現代社会において欠かせないものとなっている。
セキュリティ対策は、リリース前にLSMと人間の価値を合わせるのが一般的だが、最近の研究では「ジェイルブレイク」と呼ばれる関連する現象が明らかにされている。
この用語は、悪意のある質問によって引き起こされたLSMによる予期せぬ、潜在的に有害な反応を指す。
既存の研究はジェイルブレイクプロンプトの生成に重点を置いているが、システムメッセージの設定は実験によって大きく異なる。
システムメッセージはLLMのジェイルブレイクにとって本当に重要なのか?
メインストリームのLLMで実験を行い、さまざまなシステムメッセージ(ショート、ロング、ノー)でジェイルブレイクプロンプトを生成します。
異なるシステムメッセージは、脱獄に対する耐性が異なることがわかりました。
そこで本研究では,システムメッセージの異なるLDM間でのジェイルブレイクの転送可能性について検討する。
さらに, システムメッセージ進化アルゴリズム (SMEA) を提案し, マイナーな変更があっても, 脱獄プロンプトに耐性のあるシステムメッセージを生成する。
SMEAを通じて、システムメッセージの長さがほとんど変化せずに、堅牢なシステムメッセージの集団が得られます。
我々の研究は、LSMのセキュリティを後押しするだけでなく、脱獄の障壁を増し、この研究分野の進歩を育みます。
関連論文リスト
- SQL Injection Jailbreak: a structural disaster of large language models [71.55108680517422]
LLMによる入力プロンプトの構築を利用して、ユーザプロンプトにジェイルブレイク情報を注入する新しいジェイルブレイク手法を提案する。
提案手法は,AdvBench の文脈でよく知られた5つのオープンソース LLM に対する攻撃成功率を約100% 達成する。
論文 参考訳（メタデータ） (2024-11-03T13:36:34Z) - EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。
LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。
本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
論文 参考訳（メタデータ） (2024-08-07T07:46:08Z) - JailbreakHunter: A Visual Analytics Approach for Jailbreak Prompts Discovery from Large-Scale Human-LLM Conversational Datasets [41.28080625748892]
大規模言語モデル (LLM) は注目されているが、誤用リスクが懸念されている。
JailbreakHunterは、大規模な人間とLLMの会話データセットでジェイルブレイクプロンプトを特定するためのビジュアル分析手法である。
論文 参考訳（メタデータ） (2024-07-03T12:10:41Z) - How Alignment and Jailbreak Work: Explain LLM Safety through Intermediate Hidden States [65.45603614354329]
大規模言語モデル(LLM)は、悪意のあるユーザ入力に対する応答を避けるために、安全アライメントに依存している。
ジェイルブレイクは安全ガードレールを回避でき、LLMは有害な内容を生成する。
中間隠蔽状態を通してLSMの安全性を説明するために弱い分類器を用いる。
論文 参考訳（メタデータ） (2024-06-09T05:04:37Z) - Don't Listen To Me: Understanding and Exploring Jailbreak Prompts of Large Language Models [29.312244478583665]
生成AIは、大きな言語モデル(LLM)へのユビキタスアクセスを可能にした
脱獄プロンプトは、セキュリティ制限を回避し、本来禁止されるように設計された有害なコンテンツを引き出す最も効果的なメカニズムの1つとして現れてきた。
LLMの専門知識に関わらず、ユーザはしばしばジェイルブレイクを成功させる。
また,脱獄即時生成のプロセスを自動化するアシスタントとしてAIを用いたシステムも開発している。
論文 参考訳（メタデータ） (2024-03-26T02:47:42Z) - GUARD: Role-playing to Generate Natural-language Jailbreakings to Test Guideline Adherence of Large Language Models [14.571852591904092]
主要な安全策の1つは、リリース前にジェイルブレイクで大規模言語モデルを積極的にテストすることである。
我々は,人間の世代スタイルでジェイルブレイクを発生させるための,新しい直感的かつ直感的な戦略を提案する。
我々の異なる役割のシステムは、この知識グラフを利用して新しいジェイルブレイクを生成する。
論文 参考訳（メタデータ） (2024-02-05T18:54:43Z) - A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。
ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる
有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
論文 参考訳（メタデータ） (2023-11-14T16:02:16Z) - Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。
LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-12T15:38:28Z) - "Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models [50.22128133926407]
我々は2022年12月から2023年12月までの1,405件の脱獄プロンプトを包括的に分析する。
131のjailbreakコミュニティを特定し,Jailbreakプロンプトの特徴とその主要な攻撃戦略を明らかにする。
また,ChatGPT (GPT-3.5) と GPT-4 の攻撃成功率 0.95 を達成できる5つの有効なジェイルブレイクプロンプトを同定した。
論文 参考訳（メタデータ） (2023-08-07T16:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。