論文の概要: Jailbreaking Large Language Models Against Moderation Guardrails via Cipher Characters

• arxiv url: http://arxiv.org/abs/2405.20413v1
• Date: Thu, 30 May 2024 18:38:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 18:34:31.561172
• Title: Jailbreaking Large Language Models Against Moderation Guardrails via Cipher Characters
• Title（参考訳）: 暗号文字によるモデレーションガードレールに対する大規模言語モデルの脱獄
• Authors: Haibo Jin, Andy Zhou, Joe D. Menke, Haohan Wang,
• Abstract要約: JAMBenchは、モデレーションガードレールをトリガーし、評価するために設計された有害な行動ベンチマークである。 JAMは、ジェイルブレイクの成功率(sim$$times$19.88)とフィルターアウト率(sim$$times$1/6)を、ベースラインよりも高く達成している。
• 参考スコア（独自算出の注目度）: 12.645216248487051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are typically harmless but remain vulnerable to carefully crafted prompts known as ``jailbreaks'', which can bypass protective measures and induce harmful behavior. Recent advancements in LLMs have incorporated moderation guardrails that can filter outputs, which trigger processing errors for certain malicious questions. Existing red-teaming benchmarks often neglect to include questions that trigger moderation guardrails, making it difficult to evaluate jailbreak effectiveness. To address this issue, we introduce JAMBench, a harmful behavior benchmark designed to trigger and evaluate moderation guardrails. JAMBench involves 160 manually crafted instructions covering four major risk categories at multiple severity levels. Furthermore, we propose a jailbreak method, JAM (Jailbreak Against Moderation), designed to attack moderation guardrails using jailbreak prefixes to bypass input-level filters and a fine-tuned shadow model functionally equivalent to the guardrail model to generate cipher characters to bypass output-level filters. Our extensive experiments on four LLMs demonstrate that JAM achieves higher jailbreak success ($\sim$ $\times$ 19.88) and lower filtered-out rates ($\sim$ $\times$ 1/6) than baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、通常無害であるが、保護措置を回避し有害な振る舞いを誘発する'jailbreaks'と呼ばれる、慎重に構築されたプロンプトに弱いままである。 LLMの最近の進歩には、特定の悪意のある質問に対する処理エラーを引き起こす出力をフィルタリングできるモデレーションガードレールが組み込まれている。 既存のレッドチームベンチマークでは、モデレーションガードレールをトリガーする質問を含めることを無視することが多く、ジェイルブレイクの有効性を評価するのが困難である。 JAMBenchは、モデレーションガードレールをトリガーし、評価するために設計された有害な行動ベンチマークである。 JAMBenchは、複数の重度レベルで4つの主要なリスクカテゴリをカバーする、160の手作業による指示を含んでいる。 さらに,入力レベルフィルタをバイパスするためにjailbreakプレフィックスを用いてモデレーションガードレールを攻撃するために設計されたJAM(Jailbreak Against Moderation)手法と,出力レベルフィルタをバイパスするために暗号文字を生成するガードレールモデルと機能的に等価な微調整シャドウモデルを提案する。 4つのLCMに関する大規模な実験は、JAMがベースラインよりも高いジェイルブレイク($\sim$$\times$ 19.88)と低いフィルタアウト($\sim$$\times$ 1/6)を達成することを示した。

関連論文リスト

• SQL Injection Jailbreak: a structural disaster of large language models [71.55108680517422]
  LLMによる入力プロンプトの構築を利用して、ユーザプロンプトにジェイルブレイク情報を注入する新しいジェイルブレイク手法を提案する。 提案手法は,AdvBench の文脈でよく知られた5つのオープンソース LLM に対する攻撃成功率を約100% 達成する。
  論文  参考訳（メタデータ） (2024-11-03T13:36:34Z)
• Multi-round jailbreak attack on large language models [2.540971544359496]
  私たちは"ジェイルブレイク"攻撃をよりよく理解するために、マルチラウンドのジェイルブレイクアプローチを導入します。 この方法は危険なプロンプトを書き換え、有害でない一連のサブクエストに分解する。 実験の結果,ラマ2-7Bは94%の成功率を示した。
  論文  参考訳（メタデータ） (2024-10-15T12:08:14Z)
• EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
  大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。 LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。 本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
  論文  参考訳（メタデータ） (2024-08-07T07:46:08Z)
• Virtual Context: Enhancing Jailbreak Attacks with Special Token Injection [54.05862550647966]
  本稿では、以前LLMセキュリティで見過ごされていた特別なトークンを活用して、ジェイルブレイク攻撃を改善する仮想コンテキストを提案する。 総合的な評価によると、仮想コンテキストによるジェイルブレイク攻撃は、4つの広く使われているジェイルブレイク手法の成功率を約40%向上させることができる。
  論文  参考訳（メタデータ） (2024-06-28T11:35:54Z)
• WildTeaming at Scale: From In-the-Wild Jailbreaks to (Adversarially) Safer Language Models [66.34505141027624]
  我々は、WildTeamingを紹介した。これは自動LLM安全リチームフレームワークで、Wild-Chatbotインタラクションをマイニングし、新しいジェイルブレイク戦術の5.7Kのユニークなクラスタを発見する。 WildTeamingは、未確認のフロンティアLSMの脆弱性を明らかにし、最大4.6倍の多様性と敵の攻撃に成功した。
  論文  参考訳（メタデータ） (2024-06-26T17:31:22Z)
• EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models [53.87416566981008]
  本稿では,大規模言語モデル(LLM)に対するジェイルブレイク攻撃の構築と評価を容易にする統合フレームワークであるEasyJailbreakを紹介する。 Selector、Mutator、Constraint、Evaluatorの4つのコンポーネントを使ってJailbreak攻撃を構築する。 10の異なるLSMで検証した結果、さまざまなジェイルブレイク攻撃で平均60%の侵入確率で重大な脆弱性が判明した。
  論文  参考訳（メタデータ） (2024-03-18T18:39:53Z)
• SafeDecoding: Defending against Jailbreak Attacks via Safety-Aware Decoding [35.750885132167504]
  我々は,大規模言語モデル(LLM)の安全性を意識したデコーディング戦略であるSafeDecodingを導入し,ユーザクエリに対する有用かつ無害な応答を生成する。 この結果から,SafeDecodingは,ユーザクエリに対する応答の利便性を損なうことなく,攻撃成功率やジェイルブレイク攻撃の有害性を著しく低下させることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T06:54:31Z)
• Tree of Attacks: Jailbreaking Black-Box LLMs Automatically [34.36053833900958]
  本稿では,ジェイルブレイクを自動生成するTAP(Tree of Attacks with Pruning)を提案する。 TAPは、最先端のLDMを80%以上にわたってジェイルブレイクするプロンプトを生成する。 TAPはまた、LlamaGuardのような最先端のガードレールによって保護されたLLMをジェイルブレイクすることができる。
  論文  参考訳（メタデータ） (2023-12-04T18:49:23Z)
• Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
  大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。 LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T15:38:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。