論文の概要: Don't Listen To Me: Understanding and Exploring Jailbreak Prompts of Large Language Models

• arxiv url: http://arxiv.org/abs/2403.17336v2
• Date: Mon, 30 Sep 2024 21:25:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:33:06.127230
• Title: Don't Listen To Me: Understanding and Exploring Jailbreak Prompts of Large Language Models
• Title（参考訳）: Don't Listen to Me: 大規模言語モデルのジェイルブレイクプロンプトの理解と探索
• Authors: Zhiyuan Yu, Xiaogeng Liu, Shunning Liang, Zach Cameron, Chaowei Xiao, Ning Zhang,
• Abstract要約: 生成AIは、大きな言語モデル(LLM)へのユビキタスアクセスを可能にした 脱獄プロンプトは、セキュリティ制限を回避し、本来禁止されるように設計された有害なコンテンツを引き出す最も効果的なメカニズムの1つとして現れてきた。 LLMの専門知識に関わらず、ユーザはしばしばジェイルブレイクを成功させる。 また,脱獄即時生成のプロセスを自動化するアシスタントとしてAIを用いたシステムも開発している。
• 参考スコア（独自算出の注目度）: 29.312244478583665
• License:
• Abstract: Recent advancements in generative AI have enabled ubiquitous access to large language models (LLMs). Empowered by their exceptional capabilities to understand and generate human-like text, these models are being increasingly integrated into our society. At the same time, there are also concerns on the potential misuse of this powerful technology, prompting defensive measures from service providers. To overcome such protection, jailbreaking prompts have recently emerged as one of the most effective mechanisms to circumvent security restrictions and elicit harmful content originally designed to be prohibited. Due to the rapid development of LLMs and their ease of access via natural languages, the frontline of jailbreak prompts is largely seen in online forums and among hobbyists. To gain a better understanding of the threat landscape of semantically meaningful jailbreak prompts, we systemized existing prompts and measured their jailbreak effectiveness empirically. Further, we conducted a user study involving 92 participants with diverse backgrounds to unveil the process of manually creating jailbreak prompts. We observed that users often succeeded in jailbreak prompts generation regardless of their expertise in LLMs. Building on the insights from the user study, we also developed a system using AI as the assistant to automate the process of jailbreak prompt generation.
• Abstract（参考訳）: 生成AIの最近の進歩は、大規模言語モデル(LLM)へのユビキタスアクセスを可能にしている。 人間のような文章を理解して生成する素晴らしい能力によって、これらのモデルは我々の社会にますます統合されつつある。 同時に、この強力な技術の潜在的な誤用も懸念され、サービス提供者からの防衛措置が促される。 このような保護を克服するために、ジェイルブレイクのプロンプトは、セキュリティ制限を回避し、本来禁止されるように設計された有害なコンテンツを引き出す最も効果的なメカニズムの1つとして最近登場した。 LLMの急速な発展と自然言語によるアクセスの容易さにより、ジェイルブレイクプロンプトの前線はオンラインフォーラムやホビイストの間で広く見られる。 意味的に意味のあるジェイルブレイクプロンプトの脅威状況をよりよく理解するために,既存のプロンプトを体系化し,そのジェイルブレイクの有効性を実証的に測定した。 さらに, 多様な背景を持つ92名の被験者を対象に, ジェイルブレイクプロンプトを手作業で作成する過程を明らかにするために, ユーザスタディを行った。 LLMの専門知識に関わらず、ユーザはジェイルブレイクを成功させることが多い。 ユーザスタディから得られた知見に基づいて,我々は,Jailbreakの即時生成プロセスを自動化するアシスタントとしてAIを用いたシステムを開発した。

関連論文リスト

• MRJ-Agent: An Effective Jailbreak Agent for Multi-Round Dialogue [36.44365630876591]
  大きな言語モデル(LLM)は、知識と理解能力の貯蓄において優れた性能を示す。 LLMは、ジェイルブレイク攻撃を受けたとき、違法または非倫理的な反応を起こしやすいことが示されている。 本稿では,人的価値に対する潜在的な脅威を識別・緩和する上でのステルスネスの重要性を強調した,複数ラウンドの対話型ジェイルブレイクエージェントを提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:32:09Z)
• Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
  そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。 また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。 本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-10-15T06:31:04Z)
• EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
  大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。 LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。 本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
  論文  参考訳（メタデータ） (2024-08-07T07:46:08Z)
• Poisoned LangChain: Jailbreak LLMs by LangChain [9.658883589561915]
  本稿では,間接的ジェイルブレイクの概念を提案し,LangChain経由でRetrieval-Augmented Generationを実現する。 我々はこの手法を,ジェイルブレイク問題の3つの主要なカテゴリにわたる6つの大言語モデルで検証した。
  論文  参考訳（メタデータ） (2024-06-26T07:21:02Z)
• Knowledge-to-Jailbreak: One Knowledge Point Worth One Attack [86.6931690001357]
  Knowledge-to-jailbreakは、ドメイン知識からジェイルブレイクを生成し、特定のドメイン上での大規模言語モデルの安全性を評価することを目的としている。 12,974組の知識ジェイルブレイクペアを持つ大規模データセットを収集し、ジェイルブレイクジェネレータとして大規模言語モデルを微調整する。
  論文  参考訳（メタデータ） (2024-06-17T15:59:59Z)
• Automatic Jailbreaking of the Text-to-Image Generative AI Systems [76.9697122883554]
  本稿では,ChatGPT,Copilot,Geminiなどの商用T2I生成システムの安全性について,ナイーブプロンプトによる著作権侵害について検討する。 安全ガードをバイパスするプロンプトを生成するT2I生成システムに対して,より強力な自動脱獄パイプラインを提案する。 当社のフレームワークは,ChatGPTを11.0%のブロックレートでジェイルブレイクし,その76%で著作権コンテンツを生成する。
  論文  参考訳（メタデータ） (2024-05-26T13:32:24Z)
• Foot In The Door: Understanding Large Language Model Jailbreaking via Cognitive Psychology [12.584928288798658]
  本研究では,大規模言語モデル(LLM)の内在的意思決定論理に関する心理学的視点を構築する。 フットイン・ザ・ドア(FITD)技術に基づく自動ブラックボックスジェイルブレイク手法を提案する。
  論文  参考訳（メタデータ） (2024-02-24T02:27:55Z)
• GUARD: Role-playing to Generate Natural-language Jailbreakings to Test Guideline Adherence of Large Language Models [14.571852591904092]
  主要な安全策の1つは、リリース前にジェイルブレイクで大規模言語モデルを積極的にテストすることである。 我々は,人間の世代スタイルでジェイルブレイクを発生させるための,新しい直感的かつ直感的な戦略を提案する。 我々の異なる役割のシステムは、この知識グラフを利用して新しいジェイルブレイクを生成する。
  論文  参考訳（メタデータ） (2024-02-05T18:54:43Z)
• AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models [54.95912006700379]
  本稿では,大規模言語モデルに対する新たなジェイルブレイク攻撃であるAutoDANを紹介する。 AutoDANは、慎重に設計された階層型遺伝的アルゴリズムによって、ステルスなジェイルブレイクプロンプトを自動的に生成できる。
  論文  参考訳（メタデータ） (2023-10-03T19:44:37Z)
• "Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models [50.22128133926407]
  我々は2022年12月から2023年12月までの1,405件の脱獄プロンプトを包括的に分析する。 131のjailbreakコミュニティを特定し,Jailbreakプロンプトの特徴とその主要な攻撃戦略を明らかにする。 また,ChatGPT (GPT-3.5) と GPT-4 の攻撃成功率 0.95 を達成できる5つの有効なジェイルブレイクプロンプトを同定した。
  論文  参考訳（メタデータ） (2023-08-07T16:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。