論文の概要: Jailbreak-R1: Exploring the Jailbreak Capabilities of LLMs via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2506.00782v1
• Date: Sun, 01 Jun 2025 02:19:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.584419
• Title: Jailbreak-R1: Exploring the Jailbreak Capabilities of LLMs via Reinforcement Learning
• Title（参考訳）: Jailbreak-R1:強化学習によるLDMのジェイルブレイク能力の探索
• Authors: Weiyang Guo, Zesheng Shi, Zhuo Li, Yequan Wang, Xuebo Liu, Wenya Wang, Fangming Liu, Min Zhang, Jing Li,
• Abstract要約: 我がアッパチは 自動化された レッド・チーム・トレーニング・フレームワークです 強化学習を利用して、より効果的な攻撃プロンプトを探索し、生成する。 私たちの作業は、レッドチームの探索の効率を大幅に改善し、自動化されたレッドチームに対する新たな視点を提供します。
• 参考スコア（独自算出の注目度）: 39.18422925235017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) grow in power and influence, ensuring their safety and preventing harmful output becomes critical. Automated red teaming serves as a tool to detect security vulnerabilities in LLMs without manual labor. However, most existing methods struggle to balance the effectiveness and diversity of red-team generated attack prompts. To address this challenge, we propose \ourapproach, a novel automated red teaming training framework that utilizes reinforcement learning to explore and generate more effective attack prompts while balancing their diversity. Specifically, it consists of three training stages: (1) Cold Start: The red team model is supervised and fine-tuned on a jailbreak dataset obtained through imitation learning. (2) Warm-up Exploration: The model is trained in jailbreak instruction following and exploration, using diversity and consistency as reward signals. (3) Enhanced Jailbreak: Progressive jailbreak rewards are introduced to gradually enhance the jailbreak performance of the red-team model. Extensive experiments on a variety of LLMs show that \ourapproach effectively balances the diversity and effectiveness of jailbreak prompts compared to existing methods. Our work significantly improves the efficiency of red team exploration and provides a new perspective on automated red teaming.
• Abstract（参考訳）: 大規模言語モデル(LLM)がパワーと影響力を増すにつれ、安全性の確保と有害な出力の防止が重要となる。 自動赤チーム化は、手作業なしでLSMのセキュリティ脆弱性を検出するツールとして機能する。 しかしながら、既存のほとんどのメソッドは、レッドチーム生成の攻撃プロンプトの有効性と多様性のバランスをとるのに苦労しています。 この課題に対処するために,強化学習を利用して,多様性のバランスを保ちながら,より効果的な攻撃プロンプトを探索・生成する,新しいレッドチームトレーニングフレームワークである‘ourapproach’を提案する。 1) コールドスタート: レッドチームモデルは、模倣学習によって得られたジェイルブレイクデータセットを監督し、微調整する。 2) ウォームアップ探索: モデルは、多様性と一貫性を報奨信号として利用して、ジェイルブレイクの指導と探索で訓練される。 (3) 強化されたジェイルブレイク: レッドチームモデルのジェイルブレイク性能を徐々に向上させるために、プログレッシブなジェイルブレイク報酬が導入される。 様々なLSMの広範囲にわたる実験により、ドーラポラッハは、既存の方法と比較してジェイルブレイクプロンプトの多様性と有効性を効果的にバランスしていることが示されている。 私たちの作業は、レッドチームの探索の効率を大幅に改善し、自動化されたレッドチームに対する新たな視点を提供します。

関連論文リスト

• Transferable Ensemble Black-box Jailbreak Attacks on Large Language Models [0.0]
  我々は,様々なLSM-as-Attackerメソッドを組み込んだ新しいブラックボックス・ジェイルブレイク攻撃フレームワークを提案する。 本手法は,既存のジェイルブレイク研究と実践から得られた3つの重要な知見に基づいて設計されている。
  論文  参考訳（メタデータ） (2024-10-31T01:55:33Z)
• IDEATOR: Jailbreaking and Benchmarking Large Vision-Language Models Using Themselves [64.46372846359694]
  IDEATORは、ブラックボックスジェイルブレイク攻撃のための悪意のある画像テキストペアを自律的に生成する新しいジェイルブレイク手法である。 最近リリースされたVLM11のベンチマーク結果から,安全性の整合性に大きなギャップがあることが判明した。 例えば、GPT-4oで46.31%、Claude-3.5-Sonnetで19.65%のASRを達成した。
  論文  参考訳（メタデータ） (2024-10-29T07:15:56Z)
• EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
  大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。 LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。 本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
  論文  参考訳（メタデータ） (2024-08-07T07:46:08Z)
• RedAgent: Red Teaming Large Language Models with Context-aware Autonomous Language Agent [24.487441771427434]
  我々は,コンテキスト認識型ジェイルブレイクプロンプトを生成するためのマルチエージェントLLMシステムRedAgentを提案する。 我々のシステムは、ほとんどのブラックボックスLSMをたった5つのクエリでジェイルブレイクすることができ、既存のレッドチーム方式の効率を2倍に向上させることができる。 すべての問題を報告し、バグ修正のためにOpenAIとMetaと通信しました。
  論文  参考訳（メタデータ） (2024-07-23T17:34:36Z)
• WildTeaming at Scale: From In-the-Wild Jailbreaks to (Adversarially) Safer Language Models [66.34505141027624]
  我々は、WildTeamingを紹介した。これは自動LLM安全リチームフレームワークで、Wild-Chatbotインタラクションをマイニングし、新しいジェイルブレイク戦術の5.7Kのユニークなクラスタを発見する。 WildTeamingは、未確認のフロンティアLSMの脆弱性を明らかにし、最大4.6倍の多様性と敵の攻撃に成功した。
  論文  参考訳（メタデータ） (2024-06-26T17:31:22Z)
• EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models [53.87416566981008]
  本稿では,大規模言語モデル(LLM)に対するジェイルブレイク攻撃の構築と評価を容易にする統合フレームワークであるEasyJailbreakを紹介する。 Selector、Mutator、Constraint、Evaluatorの4つのコンポーネントを使ってJailbreak攻撃を構築する。 10の異なるLSMで検証した結果、さまざまなジェイルブレイク攻撃で平均60%の侵入確率で重大な脆弱性が判明した。
  論文  参考訳（メタデータ） (2024-03-18T18:39:53Z)
• Distract Large Language Models for Automatic Jailbreak Attack [8.364590541640482]
  大規模言語モデルの自動レッドチーム化のための新しいブラックボックスジェイルブレイクフレームワークを提案する。 我々は、Jailbreak LLMに対する反復最適化アルゴリズムを用いて、悪意のあるコンテンツの隠蔽とメモリリフレーミングを設計した。
  論文  参考訳（メタデータ） (2024-03-13T11:16:43Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。