Fugu-MT 論文翻訳(概要): Bag of Tricks: Benchmarking of Jailbreak Attacks on LLMs

論文の概要: Bag of Tricks: Benchmarking of Jailbreak Attacks on LLMs

arxiv url: http://arxiv.org/abs/2406.09324v1
Date: Thu, 13 Jun 2024 17:01:40 GMT
ステータス: 処理完了
システム内更新日: 2024-06-14 16:35:35.076282
Title: Bag of Tricks: Benchmarking of Jailbreak Attacks on LLMs
Title（参考訳）: トリックのバグ: LLMにおけるジェイルブレイク攻撃のベンチマーク
Authors: Zhao Xu, Fan Liu, Hao Liu,
Abstract要約: 大規模言語モデル(LLM)は、ゼロショット方式で複雑なタスクを実行する上で重要な機能を示している。それらはジェイルブレイク攻撃の影響を受けやすく、有害な出力を生成するために操作することができる。
参考スコア（独自算出の注目度）: 13.317364896194903
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Although Large Language Models (LLMs) have demonstrated significant capabilities in executing complex tasks in a zero-shot manner, they are susceptible to jailbreak attacks and can be manipulated to produce harmful outputs. Recently, a growing body of research has categorized jailbreak attacks into token-level and prompt-level attacks. However, previous work primarily overlooks the diverse key factors of jailbreak attacks, with most studies concentrating on LLM vulnerabilities and lacking exploration of defense-enhanced LLMs. To address these issues, we evaluate the impact of various attack settings on LLM performance and provide a baseline benchmark for jailbreak attacks, encouraging the adoption of a standardized evaluation framework. Specifically, we evaluate the eight key factors of implementing jailbreak attacks on LLMs from both target-level and attack-level perspectives. We further conduct seven representative jailbreak attacks on six defense methods across two widely used datasets, encompassing approximately 320 experiments with about 50,000 GPU hours on A800-80G. Our experimental results highlight the need for standardized benchmarking to evaluate these attacks on defense-enhanced LLMs. Our code is available at https://github.com/usail-hkust/Bag_of_Tricks_for_LLM_Jailbreaking.
Abstract（参考訳）: LLM(Large Language Models)は、ゼロショット方式で複雑なタスクを実行する上で重要な機能を示しているが、それらはジェイルブレイク攻撃の影響を受けやすく、有害なアウトプットを生成するために操作できる。最近、研究機関がジェイルブレイク攻撃をトークンレベルとプロンプトレベルに分類している。しかし、以前の研究は主にジェイルブレイク攻撃の様々な主要な要因を見落としており、ほとんどの研究はLLMの脆弱性に集中し、防衛強化されたLLMの探索を欠いている。これらの問題に対処するため,LLM性能に対する各種攻撃設定の影響を評価し,ジェイルブレイク攻撃の基準ベンチマークを提供し,標準化された評価フレームワークの採用を奨励する。具体的には、ターゲットレベルとアタックレベルの両方の観点から、LDMに対してジェイルブレイク攻撃を行う8つの要因を評価する。さらに、A800-80Gで約5万のGPU時間で約320の実験を含む、広く使用されている2つのデータセットにわたる6つの防御方法に対する7つの代表的なジェイルブレイク攻撃を実行します。実験の結果,防衛強化LDMに対する攻撃を評価するため,標準化されたベンチマークの必要性が明らかになった。私たちのコードはhttps://github.com/usail-hkust/Bag_of_Tricks_for_LLM_Jailbreaking.orgから入手可能です。

関連論文リスト

Figure it Out: Analyzing-based Jailbreak Attack on Large Language Models [21.252514293436437]
解析ベースジェイルブレイク (ABJ) は大規模言語モデル (LLM) に対する効果的なジェイルブレイク攻撃法である ABJはGPT-4-turbo-0409上で94.8%の攻撃成功率(ASR)と1.06の攻撃効率(AE)を達成する。
論文参考訳（メタデータ） (2024-07-23T06:14:41Z)
SelfDefend: LLMs Can Defend Themselves against Jailbreaking in a Practical Manner [21.414701448926614]
本稿では,自衛隊(SelfDefend)と呼ばれる総称LDMジェイルブレイク防御フレームワークを紹介する。本稿では,GPT-3.5が攻撃成功率(ASR)を8.97～95.74%抑制できることを示す。また、調整したモデルが標的のGCGに対して堅牢であることや、インジェクション攻撃の迅速化を実証的に示す。
論文参考訳（メタデータ） (2024-06-08T15:45:31Z)
Defending Large Language Models Against Jailbreak Attacks via Layer-specific Editing [14.094372002702476]
大規模言語モデル(LLM)は、広範囲の現実世界のアプリケーションで採用されつつある。近年の研究では、LSMは故意に構築された敵のプロンプトに弱いことが示されている。そこで本研究では,新しい防衛手法である textbfLayer-specific textbfEditing (LED) を提案する。
論文参考訳（メタデータ） (2024-05-28T13:26:12Z)
JailBreakV-28K: A Benchmark for Assessing the Robustness of MultiModal Large Language Models against Jailbreak Attacks [24.69275959735538]
本稿では,大規模言語モデルのジェイルブレイクを成功させる手法が,MLLMのジェイルブレークに等しく有効かどうかを検討する。 MLLM への LLM ジェイルブレイク手法の転送性を評価するための先駆的なベンチマークである JailBreakV-28K を紹介する。 LLMの高度なジェイルブレイク攻撃と、最近のMLLMのジェイルブレイク攻撃によるイメージベースのジェイルブレイク入力により、20000のテキストベースのジェイルブレイクプロンプトを生成します。
論文参考訳（メタデータ） (2024-04-03T19:23:18Z)
EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models [53.87416566981008]
本稿では,大規模言語モデル(LLM)に対するジェイルブレイク攻撃の構築と評価を容易にする統合フレームワークであるEasyJailbreakを紹介する。 Selector、Mutator、Constraint、Evaluatorの4つのコンポーネントを使ってJailbreak攻撃を構築する。 10の異なるLSMで検証した結果、さまざまなジェイルブレイク攻撃で平均60%の侵入確率で重大な脆弱性が判明した。
論文参考訳（メタデータ） (2024-03-18T18:39:53Z)
Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。 LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
論文参考訳（メタデータ） (2024-02-21T18:59:13Z)
Comprehensive Assessment of Jailbreak Attacks Against LLMs [28.58973312098698]
4つのカテゴリから13の最先端ジェイルブレイク法,16の違反カテゴリから160の質問,6つの人気のあるLDMについて検討した。実験の結果, 最適化されたジェイルブレイクは高い攻撃成功率を確実に達成することが示された。攻撃性能と効率のトレードオフについて論じるとともに、脱獄プロンプトの転送性は依然として維持可能であることを示す。
論文参考訳（メタデータ） (2024-02-08T13:42:50Z)
Weak-to-Strong Jailbreaking on Large Language Models [96.50953637783581]
大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。既存のジェイルブレイク法は計算コストがかかる。我々は、弱々しく強固な脱獄攻撃を提案する。
論文参考訳（メタデータ） (2024-01-30T18:48:37Z)
Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization [98.18718484152595]
本研究は,学習段階と推論段階の両方において,目標の優先順位付けを統合することで,支援と安全性の確保という目標との本質的な対立に対処することを提案する。我々の研究は、脱獄攻撃と防衛の理解に寄与し、LLMの能力と安全性の関係に光を当てている。
論文参考訳（メタデータ） (2023-11-15T16:42:29Z)
A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。ジェイルブレイク」と呼ばれる敵のプロンプトは保護を回避できる有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
論文参考訳（メタデータ） (2023-11-14T16:02:16Z)
SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文参考訳（メタデータ） (2023-10-05T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。