論文の概要: Siren: A Learning-Based Multi-Turn Attack Framework for Simulating Real-World Human Jailbreak Behaviors

• arxiv url: http://arxiv.org/abs/2501.14250v1
• Date: Fri, 24 Jan 2025 05:31:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 20:40:39.642693
• Title: Siren: A Learning-Based Multi-Turn Attack Framework for Simulating Real-World Human Jailbreak Behaviors
• Title（参考訳）: Siren: 実世界の人間のジェイルブレイク行動をシミュレーションする学習型マルチトゥルアタックフレームワーク
• Authors: Yi Zhao, Youzhi Zhang,
• Abstract要約: 本研究では,実世界の人間のジェイルブレイク行動のシミュレーションを目的とした,学習に基づくマルチターン攻撃フレームワークを提案する。 実験の結果、サイレンはLLaMA-3-8Bを攻撃者として90%の攻撃成功率(ASR)を達成した。 我々は、サイレンが先進的な多ターンジェイルブレイク攻撃に対するより強力な防御の開発を促すことを願っている。
• 参考スコア（独自算出の注目度）: 12.550678408719756
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) are widely used in real-world applications, raising concerns about their safety and trustworthiness. While red-teaming with jailbreak prompts exposes the vulnerabilities of LLMs, current efforts focus primarily on single-turn attacks, overlooking the multi-turn strategies used by real-world adversaries. Existing multi-turn methods rely on static patterns or predefined logical chains, failing to account for the dynamic strategies during attacks. We propose Siren, a learning-based multi-turn attack framework designed to simulate real-world human jailbreak behaviors. Siren consists of three stages: (1) training set construction utilizing Turn-Level LLM feedback (Turn-MF), (2) post-training attackers with supervised fine-tuning (SFT) and direct preference optimization (DPO), and (3) interactions between the attacking and target LLMs. Experiments demonstrate that Siren achieves an attack success rate (ASR) of 90% with LLaMA-3-8B as the attacker against Gemini-1.5-Pro as the target model, and 70% with Mistral-7B against GPT-4o, significantly outperforming single-turn baselines. Moreover, Siren with a 7B-scale model achieves performance comparable to a multi-turn baseline that leverages GPT-4o as the attacker, while requiring fewer turns and employing decomposition strategies that are better semantically aligned with attack goals. We hope Siren inspires the development of stronger defenses against advanced multi-turn jailbreak attacks under realistic scenarios. Code is available at https://github.com/YiyiyiZhao/siren. Warning: This paper contains potentially harmful text.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現実世界のアプリケーションで広く使われており、安全性と信頼性に関する懸念が高まっている。 ジェイルブレイクプロンプトによるレッドチーム化はLLMの脆弱性を露呈する一方で、現在の取り組みは、現実世界の敵が使用するマルチターン戦略を見越して、主にシングルターン攻撃に焦点を当てている。 既存のマルチターンメソッドは静的パターンや事前定義された論理チェーンに依存しており、攻撃時の動的な戦略を考慮できない。 実世界の人間のジェイルブレイク行動をシミュレートする学習型マルチターンアタックフレームワークであるSirenを提案する。 Siren は,(1) ターンレベル LLM フィードバック (Turn-MF) を用いたトレーニングセット構築,(2) 教師付き微調整 (SFT) と直接選好最適化 (DPO) によるポストトレーニングアタッカー,(3) 攻撃と目標 LLM 間の相互作用の3段階からなる。 実験の結果、サイレンは攻撃成功率90%をLLaMA-3-8Bで目標モデルとしてジェミニ1.5-Proを攻撃し、ミストラル-7BでGPT-4oを攻撃し、単ターンベースラインを著しく上回った。 さらに、7Bスケールモデルを持つSirenは、GPT-4oを攻撃者として活用するマルチターンベースラインに匹敵するパフォーマンスを達成すると同時に、ターンを少なくし、攻撃目標にセマンティックに整合した分解戦略を採用する。 現実的なシナリオの下で、Siren氏が先進的なマルチターンジェイルブレイク攻撃に対するより強力な防御を開発することを願っています。 コードはhttps://github.com/YiyyiZhao/siren.comで入手できる。 警告: この論文には潜在的に有害なテキストが含まれている。

関連論文リスト

• Strategize Globally, Adapt Locally: A Multi-Turn Red Teaming Agent with Dual-Level Learning [39.931442440365444]
  AlgNameは、補完的な学習次元を通じて高度な人間の攻撃者をエミュレートする、新しい赤チームエージェントである。 AlgNameは、エージェントが新しいジェイルブレイク戦術を特定し、ゴールベースの戦術選択フレームワークを開発し、選択した戦術の迅速な定式化を洗練できるようにする。 JailbreakBenchに関する実証的な評価は、我々のフレームワークの優れた性能を示し、GPT-3.5-Turbo と Llama-3.1-70B に対する攻撃成功率の90%以上を、5つの会話ターンで達成した。
  論文  参考訳（メタデータ） (2025-04-02T01:06:19Z)
• One-Shot is Enough: Consolidating Multi-Turn Attacks into Efficient Single-Turn Prompts for LLMs [8.91993614197627]
  本稿では,マルチターンジェイルブレイクプロンプトを単一ターン攻撃に変換するM2S(Multi-turn-to-Single-turn)という新しい手法を提案する。 実験の結果、M2Sは元来のマルチターン会話に比べて高い攻撃成功率(ASR)を増大または維持することが示された。
  論文  参考訳（メタデータ） (2025-03-06T07:34:51Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• Derail Yourself: Multi-turn LLM Jailbreak Attack through Self-discovered Clues [88.96201324719205]
  本研究では,マルチターンインタラクションにおけるLarge Language Models(LLM)の安全性の脆弱性を明らかにする。 本稿ではアクターネットワーク理論に触発された新しいマルチターン攻撃手法であるActorAttackを紹介する。
  論文  参考訳（メタデータ） (2024-10-14T16:41:49Z)
• RED QUEEN: Safeguarding Large Language Models against Concealed Multi-Turn Jailbreaking [30.67803190789498]
  我々は,害の防止という目的の下に悪意のある意図を隠蔽し,マルチターンシナリオを構築する新しいジェイルブレイク手法RED QUEEN ATTACKを提案する。 我々の実験によると、全てのLLMはRED QUEEN ATTACKに対して脆弱であり、GPT-4oで87.62%、Llama3-70Bで75.4%に達する。 安全を優先するために, RED QUEEN GUARDと呼ばれる簡単な緩和戦略を導入する。
  論文  参考訳（メタデータ） (2024-09-26T01:24:17Z)
• h4rm3l: A language for Composable Jailbreak Attack Synthesis [48.5611060845958]
  h4rm3lは、人間が読めるドメイン固有言語とのギャップに対処する新しいアプローチである。 我々は、h4rm3lの合成攻撃は、文献における既存のジェイルブレイク攻撃よりも多様で、より成功していることを示す。
  論文  参考訳（メタデータ） (2024-08-09T01:45:39Z)
• SelfDefend: LLMs Can Defend Themselves against Jailbreaking in a Practical Manner [21.414701448926614]
  本稿では,自衛隊(SelfDefend)と呼ばれる総称LDMジェイルブレイク防御フレームワークを紹介する。 我々は、一般的なGPT-3.5/4モデルを用いて、主要なジェイルブレイク攻撃すべてに対して実証的に検証した。 これらのモデルは6つの最先端の防御性能を上回り、GPT-4ベースのSelfDefendの性能に匹敵する。
  論文  参考訳（メタデータ） (2024-06-08T15:45:31Z)
• Adversarial Tuning: Defending Against Jailbreak Attacks for LLMs [13.317364896194903]
  本稿では,大規模言語モデルの汎用防衛能力を高めるための2段階の逆調整フレームワークを提案する。 第1段階では,トークンレベルの逆数生成を効率的に行うために,階層型メタユニバーサル逆数学習を導入する。 第2段階では,自動対向プロンプト学習により,意味レベルの対向プロンプトを反復的に洗練する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-07T15:37:15Z)
• Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
  本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。 従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。 LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
  論文  参考訳（メタデータ） (2024-05-30T14:40:35Z)
• Robust Prompt Optimization for Defending Language Models Against Jailbreaking Attacks [17.22989422489567]
  大規模言語モデル(LLM)は敵の攻撃や脱獄に対して脆弱である。 本稿では,LLMをジェイルブレイク攻撃から守るための最適化に基づく目標と,堅牢なシステムレベルの防御を実現するアルゴリズムを提案する。 GPT-4の攻撃成功率(ASR)は6%,Llama-2の攻撃成功率(ASR)は0%に低下した。
  論文  参考訳（メタデータ） (2024-01-30T18:56:08Z)
• Weak-to-Strong Jailbreaking on Large Language Models [96.50953637783581]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 既存のジェイルブレイク法は計算コストがかかる。 我々は、弱々しく強固な脱獄攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-30T18:48:37Z)
• Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization [98.18718484152595]
  本研究は,学習段階と推論段階の両方において,目標の優先順位付けを統合することで,支援と安全性の確保という目標との本質的な対立に対処することを提案する。 我々の研究は、脱獄攻撃と防衛の理解に寄与し、LLMの能力と安全性の関係に光を当てている。
  論文  参考訳（メタデータ） (2023-11-15T16:42:29Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。