論文の概要: "Moralized" Multi-Step Jailbreak Prompts: Black-Box Testing of Guardrails in Large Language Models for Verbal Attacks

• arxiv url: http://arxiv.org/abs/2411.16730v3
• Date: Wed, 04 Dec 2024 08:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:06:03.078877
• Title: "Moralized" Multi-Step Jailbreak Prompts: Black-Box Testing of Guardrails in Large Language Models for Verbal Attacks
• Title（参考訳）: マルチステップ脱獄プロンプトの「モラル化」:大規模言語モデルにおけるガードレールのブラックボックス試験
• Authors: Libo Wang,
• Abstract要約: 本研究の目的は, GPT-4o, Grok-2 Beta, Llama 3.1 (405B), Gemini 1.5, Claude 3.5 Sonnetのガードレールの有効性を評価することである。 同種のマルチステッププロンプトを設計して倫理的攻撃を行い、「企業中間管理者が昇進を競う」シナリオをシミュレートする。 以上の結果から, 上記LLMのガードレールはバイパスされ, 口頭攻撃の内容が生成されることがわかった。
• 参考スコア（独自算出の注目度）: 4.586907225774023
• License:
• Abstract: As the application of large language models continues to expand in various fields, it poses higher challenges to the effectiveness of identifying harmful content generation and guardrail mechanisms. This research aims to evaluate the guardrail effectiveness of GPT-4o, Grok-2 Beta, Llama 3.1 (405B), Gemini 1.5, and Claude 3.5 Sonnet through black-box testing of seemingly ethical multi-step jailbreak prompts. It conducts ethical attacks by designing an identical multi-step prompts that simulates the scenario of "corporate middle managers competing for promotions." The data results show that the guardrails of the above-mentioned LLMs were bypassed and the content of verbal attacks was generated. Claude 3.5 Sonnet's resistance to multi-step jailbreak prompts is more obvious. To ensure objectivity, the experimental process, black box test code, and enhanced guardrail code are uploaded to the GitHub repository: https://github.com/brucewang123456789/GeniusTrail.git.
• Abstract（参考訳）: 大規模言語モデルの適用は様々な分野で拡大を続けており、有害なコンテンツ生成やガードレール機構の特定により高い課題が生じる。 本研究の目的は,GPT-4o,Grok-2 Beta,Llama 3.1 (405B), Gemini 1.5, Claude 3.5 Sonnet のガードレールの有効性を評価することである。 同一のマルチステッププロンプトを設計し、「昇進を競う企業中間管理職」のシナリオをシミュレートすることで倫理的攻撃を行う。 以上の結果から, 上記LLMのガードレールはバイパスされ, 口頭攻撃の内容が生成されることがわかった。 クロード3.5 ソンネットのマルチステップジェイルブレイクプロンプトに対する抵抗はより明白である。 客観性を確保するため、実験プロセス、ブラックボックステストコード、強化されたガードレールコードはGitHubリポジトリにアップロードされる。

関連論文リスト

• xJailbreak: Representation Space Guided Reinforcement Learning for Interpretable LLM Jailbreaking [32.89084809038529]
  ブラックボックス・ジェイルブレイク(Black-box jailbreak)は、大規模な言語モデルの安全メカニズムをバイパスする攻撃である。 強化学習(RL)を利用した新しいブラックボックスジェイルブレイク手法を提案する。 我々は,より厳密で総合的なジェイルブレイク成功評価を提供するために,キーワード,意図マッチング,回答バリデーションを取り入れた総合的ジェイルブレイク評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-01-28T06:07:58Z)
• Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
  私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。 私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。 我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
  論文  参考訳（メタデータ） (2025-01-05T19:06:03Z)
• Transferable Ensemble Black-box Jailbreak Attacks on Large Language Models [0.0]
  我々は,様々なLSM-as-Attackerメソッドを組み込んだ新しいブラックボックス・ジェイルブレイク攻撃フレームワークを提案する。 本手法は,既存のジェイルブレイク研究と実践から得られた3つの重要な知見に基づいて設計されている。
  論文  参考訳（メタデータ） (2024-10-31T01:55:33Z)
• IDEATOR: Jailbreaking Large Vision-Language Models Using Themselves [67.30731020715496]
  ブラックボックスのジェイルブレイク攻撃に対して,悪意のある画像テキストペアを自動生成する新しいジェイルブレイク手法 IDEATOR を提案する。 IDEATORはVLMを使用して、ターゲットとなるJailbreakテキストを作成し、最先端の拡散モデルによって生成されたJailbreakイメージと組み合わせる。 平均5.34クエリでMiniGPT-4をジェイルブレイクし、LLaVA、InstructBLIP、Meta's Chameleonに転送すると82%、88%、75%という高い成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-29T07:15:56Z)
• Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
  そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。 また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。 本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-10-15T06:31:04Z)
• EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
  大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。 LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。 本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
  論文  参考訳（メタデータ） (2024-08-07T07:46:08Z)
• Virtual Context: Enhancing Jailbreak Attacks with Special Token Injection [54.05862550647966]
  本稿では、以前LLMセキュリティで見過ごされていた特別なトークンを活用して、ジェイルブレイク攻撃を改善する仮想コンテキストを提案する。 総合的な評価によると、仮想コンテキストによるジェイルブレイク攻撃は、4つの広く使われているジェイルブレイク手法の成功率を約40%向上させることができる。
  論文  参考訳（メタデータ） (2024-06-28T11:35:54Z)
• Jailbreaking Large Language Models Against Moderation Guardrails via Cipher Characters [12.645216248487051]
  JAMBenchは、モデレーションガードレールをトリガーし、評価するために設計された有害な行動ベンチマークである。 JAMは、ジェイルブレイクの成功率(sim$$times$19.88)とフィルターアウト率(sim$$times$1/6)を、ベースラインよりも高く達成している。
  論文  参考訳（メタデータ） (2024-05-30T18:38:36Z)
• Weak-to-Strong Jailbreaking on Large Language Models [96.50953637783581]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 既存のジェイルブレイク法は計算コストがかかる。 我々は、弱々しく強固な脱獄攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-30T18:48:37Z)
• Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study [22.411634418082368]
  大規模言語モデル(LLM)は、大きな可能性を示しているが、コンテンツ制約や潜在的な誤用に関連する課題ももたらしている。 本研究は, 1 つの重要な研究課題について,(1) 脱獄性 LLM を回避できる異なるプロンプトの種類数,(2) 脱獄性 LLM 制約を回避するための脱獄性プロンプトの有効性,(3) 脱獄性プロンプトに対する ChatGPT のレジリエンスについて検討した。
  論文  参考訳（メタデータ） (2023-05-23T09:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。