論文の概要: Emerging Vulnerabilities in Frontier Models: Multi-Turn Jailbreak Attacks

• arxiv url: http://arxiv.org/abs/2409.00137v1
• Date: Thu, 29 Aug 2024 17:30:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 16:50:17.429530
• Title: Emerging Vulnerabilities in Frontier Models: Multi-Turn Jailbreak Attacks
• Title（参考訳）: フロンティアモデルにおける新たな脆弱性:マルチターンジェイルブレイク攻撃
• Authors: Tom Gibbs, Ethan Kosak-Hine, George Ingebretsen, Jason Zhang, Julius Broomfield, Sara Pieri, Reihaneh Iranmanesh, Reihaneh Rabbany, Kellin Pelrine,
• Abstract要約: この作業では、Jailbreakのデータセットを導入し、各サンプルを1つまたは複数ターンのフォーマットで入力できる。 コンテンツでは同等だが、ジェイルブレイクの成功では同等ではない。ある構造に対する防御は、他方に対する防御を保証するものではない。
• 参考スコア（独自算出の注目度）: 6.796086914275059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are improving at an exceptional rate. However, these models are still susceptible to jailbreak attacks, which are becoming increasingly dangerous as models become increasingly powerful. In this work, we introduce a dataset of jailbreaks where each example can be input in both a single or a multi-turn format. We show that while equivalent in content, they are not equivalent in jailbreak success: defending against one structure does not guarantee defense against the other. Similarly, LLM-based filter guardrails also perform differently depending on not just the input content but the input structure. Thus, vulnerabilities of frontier models should be studied in both single and multi-turn settings; this dataset provides a tool to do so.
• Abstract（参考訳）: 大規模言語モデル(LLM)は例外的な速度で改善されている。 しかし、これらのモデルは依然としてジェイルブレイク攻撃の影響を受けており、モデルがますます強力になるにつれて、ますます危険が増している。 そこで本研究では,各例を単一あるいは複数ターンの形式で入力可能なジェイルブレイクのデータセットを提案する。 コンテンツでは同等だが、ジェイルブレイクの成功では同等ではない。ある構造に対する防御は、他方に対する防御を保証するものではない。 同様に、LLMベースのフィルタガードレールも、入力内容だけでなく、入力構造にも依存する。 したがって、フロンティアモデルの脆弱性は、シングルターンとマルチターンの両方の設定で調査する必要がある。

関連論文リスト

• BlueSuffix: Reinforced Blue Teaming for Vision-Language Models Against Jailbreak Attacks [62.58434630634917]
  VLM(Vision-Language Models)は、脱獄攻撃に弱いことが示されている。 我々は,ブラックボックスターゲットのVLMを,その性能を損なうことなくジェイルブレイク攻撃から防御する,新しいブルーチーム方式のBlueSuffixを提案する。
  論文  参考訳（メタデータ） (2024-10-28T12:43:47Z)
• A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。 我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• MoJE: Mixture of Jailbreak Experts, Naive Tabular Classifiers as Guard for Prompt Attacks [2.873719680183099]
  本稿では,大規模言語モデル(LLM)における脱獄予防の重要性を論じる。 我々は,既存の最先端ガードレールの限界を超えるよう設計された,新しいガードレールアーキテクチャであるMoJEを紹介する。 MoJEは、モデル推論中に最小限の計算オーバーヘッドを維持しながら、ジェイルブレイク攻撃の検出に優れる。
  論文  参考訳（メタデータ） (2024-09-26T10:12:19Z)
• Prefix Guidance: A Steering Wheel for Large Language Models to Defend Against Jailbreak Attacks [27.11523234556414]
  我々は,プリフィックスガイダンス(PG)という,プラグアンドプレイで容易に配置可能なジェイルブレイク防御フレームワークを提案する。 PGは、モデルの出力の最初の数個のトークンを直接設定することで、有害なプロンプトを特定するようモデルに誘導する。 3つのモデルと5つの攻撃方法におけるPGの有効性を実証する。
  論文  参考訳（メタデータ） (2024-08-15T14:51:32Z)
• WildTeaming at Scale: From In-the-Wild Jailbreaks to (Adversarially) Safer Language Models [66.34505141027624]
  我々は、WildTeamingを紹介した。これは自動LLM安全リチームフレームワークで、Wild-Chatbotインタラクションをマイニングし、新しいジェイルブレイク戦術の5.7Kのユニークなクラスタを発見する。 WildTeamingは、未確認のフロンティアLSMの脆弱性を明らかにし、最大4.6倍の多様性と敵の攻撃に成功した。
  論文  参考訳（メタデータ） (2024-06-26T17:31:22Z)
• Red Teaming GPT-4V: Are GPT-4V Safe Against Uni/Multi-Modal Jailbreak Attacks? [39.87609532392292]
  この研究は、11の異なる安全ポリシーをカバーする1445の有害な質問を含む包括的なジェイルブレイク評価データセットを構築している。 GPT4 と GPT-4V は、オープンソースの LLM や MLLM と比較して、ジェイルブレイク攻撃に対する堅牢性を向上している。 Llama2とQwen-VL-Chatは、他のオープンソースモデルよりも堅牢である。
  論文  参考訳（メタデータ） (2024-04-04T12:38:14Z)
• EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models [53.87416566981008]
  本稿では,大規模言語モデル(LLM)に対するジェイルブレイク攻撃の構築と評価を容易にする統合フレームワークであるEasyJailbreakを紹介する。 Selector、Mutator、Constraint、Evaluatorの4つのコンポーネントを使ってJailbreak攻撃を構築する。 10の異なるLSMで検証した結果、さまざまなジェイルブレイク攻撃で平均60%の侵入確率で重大な脆弱性が判明した。
  論文  参考訳（メタデータ） (2024-03-18T18:39:53Z)
• Weak-to-Strong Jailbreaking on Large Language Models [96.50953637783581]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 既存のジェイルブレイク法は計算コストがかかる。 我々は、弱々しく強固な脱獄攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-30T18:48:37Z)
• Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
  大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。 LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T15:38:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。