論文の概要: CoFiBreak: A Coarse-to-Fine Diversity Reward for Effective Multi-Turn Jailbreak

• arxiv url: http://arxiv.org/abs/2610.40926v1
• Date: Thu, 29 Oct 2026 19:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.482656
• Title: CoFiBreak: A Coarse-to-Fine Diversity Reward for Effective Multi-Turn Jailbreak
• Title（参考訳）: CoFiBreak:効果的なマルチターンジェイルブレイクのための粗大な多様性回避策
• Abstract要約: 強化学習は、攻撃の成功が唯一の報酬である場合、攻撃者が狭いプロンプトに崩壊する可能性がある。 グループ相対政策最適化のための粗大な多様性報酬であるCoFiBreakを提案する。 CoFiBreakは攻撃効率と推論コストを低く保ちながら、攻撃の多様性を向上させる。
• 参考スコア（独自算出の注目度）: 13.198558326515311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated red teaming trains an attacker large language model (LLM) to elicit harmful responses from a victim LLM, but reinforcement learning can collapse attackers onto a narrow set of prompts when attack success is the only reward. Such a collapse of attack diversity can bias safety evaluation toward repeatedly testing near-duplicate attack patterns rather than the underlying harmful intents. Existing methods often trade off attack success or inference cost for greater content or strategy diversity. We propose CoFiBreak, a coarse-to-fine diversity reward for Group Relative Policy Optimization (GRPO) that improves attack diversity while preserving strong attack effectiveness and low inference cost. The coarse reward broadens which strategies the attacker uses by encouraging strategies underrepresented within each GRPO group, while the fine reward broadens how those strategies are realized by discouraging reuse of the same personas, framings, and output formats after harmful-intent information is removed from prompt embeddings. Diversity rewards apply only to attacks that already exceed an effectiveness threshold, so diversity cannot be gained through ineffective attacks. Since both rewards are computed only during training, CoFiBreak also retains inference efficiency. Trained with Llama3.1-8B-Instruct as the victim, CoFiBreak discovers 1.6-2.0x as many distinct successful fine-grained strategies as the strongest baseline across frontier victims on HarmBench. It reaches 98.8% ASR@10 (attack success rate with 10 generations per intent) on AdvBench with the highest diversity score among all compared methods, which is 2.1x that of the strongest-attacking baseline. The resulting attacks transfer to unseen frontier LLMs, reaching 71.0% ASR@10 on AdvBench with the unseen victim Claude-Opus-4.6. The code will be released.
• Abstract（参考訳）: 自動赤チーム化は、攻撃者の大きな言語モデル(LLM)を訓練し、被害者のLSMから有害な応答を誘導するが、強化学習は攻撃の成功が唯一の報酬である場合に、攻撃者を狭いプロンプトに崩壊させる可能性がある。 このような攻撃多様性の崩壊は、根底にある有害な意図ではなく、近接二重攻撃パターンの繰り返しテストに対するバイアス安全性の評価を可能にする。 既存の方法では、より大きなコンテンツや戦略の多様性のために攻撃の成功や推論コストをトレードオフすることが多い。 我々は,集団相対政策最適化(GRPO)のための粗大な多様性報酬であるCoFiBreakを提案する。 粗い報酬は、攻撃者が使用する戦略を、各GRPOグループ内で過小評価された戦略を奨励することにより拡張する一方で、有害な情報を即時埋め込みから取り除き、同一のペルソナ、フレーミング、出力フォーマットの再利用を阻害することにより、それらの戦略を実現する方法を広げる。 多様性報酬は効果しきい値を超える攻撃にのみ適用されるため、非効率な攻撃によって多様性を得ることはできない。 両方の報酬はトレーニング中のみ計算されるため、CoFiBreakは推論効率も保持する。 被害者としてLlama3.1-8B-Instructで訓練されたCoFiBreakは、HarmBenchにおける最強のフロンティア犠牲者に対する最強のベースラインとして、多くの異なる粒度戦略の1.6-2.0倍の精度で成功している。 AdvBenchでは98.8%のASR@10(攻撃成功率、1回当たり10世代)に達し、最も強力な攻撃ベースラインの2.1倍の多様性スコアが得られた。 その結果、攻撃は未確認のフロンティア LLM に転送され、AdvBench では 71.0% ASR@10 に達し、未確認の犠牲者 Claude-Opus-4.6 が攻撃された。 コードはリリースされます。

関連論文リスト

• Reward Stealing Attack on Large Language Models [11.885987814946276]
  LLM(Large Language Models)に対する敵対的攻撃は有害なコンテンツを誘導することを目的としている。 本稿では,LSMアライメントの根底にある潜伏安全報酬を狙う敵攻撃フレームワークであるReward Stealing Attack (ReSA)を提案する。
  論文  参考訳（メタデータ） (2026-10-05T16:44:00Z)
• Fully Unleashing the Multimodal Attacker: Meta-Adaptive Jailbreaking of Vision-Language Models [25.860894697929737]
  本稿では,攻撃の繰り返しを統括する攻撃戦略プロンプト(ASP)と攻撃の有効性を決定する攻撃モデル重み付けの2つの軸に沿って攻撃者自身を最適化するメタ適応型マルチモーダル・ジェイルブレーキング(MAMJ)を提案する。 MM-SafetyBenchでは、GPT-4o、Gemini-3-Pro-adaptive、Seed 2.0に対して81.0%、78.9%、82.3%のASRを達成した。
  論文  参考訳（メタデータ） (2026-08-27T15:23:22Z)
• CHASE: Adversarial Red-Blue Teaming for Improving LLM Safety using Reinforcement Learning [11.739543857396775]
  ブラックボックス攻撃者と安全に配慮したディフェンダーを共同開発するチームリングフレームワークであるCHASEを紹介する。 CHASEカットはStrongREJECTスコアを43.2%削減し、良心的なプロンプトで0%の偽りを拒否する。 見出し結果の他に、CHASEはテンプレートのないRL探索が、機械的に異なる攻撃ファミリー間で転送される潜在攻撃プリミティブを回復することを示している。
  論文  参考訳（メタデータ） (2026-06-04T00:06:13Z)
• Active Attacks: Red-teaming LLMs via Adaptive Environments [71.55110023234376]
  大規模言語モデル(LLM)に対する多様な攻撃プロンプトを生成するという課題に対処する。 我々は、犠牲者が進化するにつれて攻撃に適応する新しいRLベースのレッドチームアルゴリズムであるtextitActive Attacksを導入する。
  論文  参考訳（メタデータ） (2025-09-26T06:27:00Z)
• X-Teaming: Multi-Turn Jailbreaks and Defenses with Adaptive Multi-Agents [76.66287343106204]
  X-Teamingは、一見無害な相互作用が有害な結果へとエスカレートし、対応する攻撃シナリオを生成するフレームワークである。 X-Teamingは最新のClaude 3.7 Sonnetモデルに対して96.2%の攻撃成功率を達成した。 XGuard-Trainは、オープンソースのマルチターン安全トレーニングデータセットで、前回のベストリソースの20倍大きい。
  論文  参考訳（メタデータ） (2025-04-15T16:11:28Z)
• Investigating Top-$k$ White-Box and Transferable Black-box Attack [75.13902066331356]
  攻撃後の利子階級ランク (ICR) で示されるASRの上位100ドルに対して, より強い攻撃が実際より優れていることを示す。 そこで本稿では,ロジットの更新を暗黙的に最大化するために,新たな正規化CE損失を提案する。
  論文  参考訳（メタデータ） (2022-03-30T15:02:27Z)
• Universal Adversarial Training with Class-Wise Perturbations [78.05383266222285]
  敵の訓練は 敵の攻撃を防御するために 最も広く使われる方法です この作業では、UAPがすべてのクラスを等しく攻撃しないことがわかります。 我々は,対人訓練におけるクラスワイドUAPの利用を提案することで,SOTA UATを改善した。
  論文  参考訳（メタデータ） (2021-04-07T09:05:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。