論文の概要: Beyond Attack Success Rate: Cost-Aware Metric for Evaluating Iterative LLM Jailbreaks

• arxiv url: http://arxiv.org/abs/2610.26589v1
• Date: Mon, 19 Oct 2026 15:36:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 02:29:21.734833
• Title: Beyond Attack Success Rate: Cost-Aware Metric for Evaluating Iterative LLM Jailbreaks
• Title（参考訳）: 成功率を超える - 反復的LLMジェイルブレイクを評価するためのコスト意識メトリクス
• Abstract要約: 我々は,2値の成功判定を維持しながら,追加の被害者モデルコールをペナルティ化する$mathrmASR_mathrmSTEP$を紹介した。 GCGcitezou2023universal, PAIRcitechao2025jailbreaking with a step budget, and a single-step PAPcitezeng2024ny baseline on JailBreakBench。
• 参考スコア（独自算出の注目度）: 2.755854280311025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attack success rate (ASR) evaluates jailbreaks against large language models without accounting for repeated calls to the victim model. Yet each additional call gives the deployed system another opportunity to detect the attack and intervene. We introduce $\mathrm{ASR}_{\mathrm{STEP}}$, which penalizes additional victim-model calls while retaining binary success judgments. Our evaluation considers GCG~\cite{zou2023universal}, PAIR~\cite{chao2025jailbreaking} with a step budget, and a single-step PAP~\cite{zeng2024johnny} baseline on JailBreakBench across three model families. GCG's scores decrease by 7.0--8.7 percentage points after discounting, while PAP's remain unchanged. While for PAIR~\cite{chao2025jailbreaking}, we see a wider discounting range between 3.4-12 percentage points, showing that the "step" quantity differs per iterative strategy. Reporting both metrics makes the discount due to repeated victim-model interaction explicit. Code is available \hyperlink{https://github.com/SuELS-Group/beyond_asr}{here}.
• Abstract（参考訳）: 攻撃成功率(ASR)は、被害者モデルへの繰り返しの呼び出しを考慮せずに、大きな言語モデルに対するジェイルブレイクを評価する。 しかし、追加の呼び出しは、デプロイされたシステムに攻撃を検出し、介入する機会を与えます。 これは、二項の成功判定を維持しながら、追加の犠牲者モデル呼び出しをペナルティ化する。 GCG~\cite{zou2023universal}, PAIR~\cite{chao2025jailbreaking}, 1ステップのPAP~\cite{zeng2024johnny}ベースラインを3つのモデルファミリーで検討した。 GCGのスコアは割引後の7.0～8.7ポイント減少し、PAPは変わらずである。 PAIR~\cite{chao2025jailbreaking}では3.4-12ポイントの範囲が広く、反復戦略ごとに「ステップ」の量が異なることを示す。 両方のメトリクスを報告することで、繰り返し発生する被害者とモデルの相互作用によって、割引が明確になる。 コードは \hyperlink{https://github.com/SuELS-Group/beyond_asr}{here} で入手できる。

関連論文リスト

• Diagnose Before You Refine: Multi-Dimensional Judge Feedback for Query-Efficient Jailbreak Attacks [16.36786636236454]
  Jev-Guided Strategy Bandit (JSB)は、多次元確率的フィードバックを活用してプロンプト最適化をガイドするクエリベースのjailbreakフレームワークである。 JSBは10のオープンソース設定で平均で89.8%のHarmBench攻撃の成功率を達成した。
  論文  参考訳（メタデータ） (2026-10-14T10:55:17Z)
• Red-TTT: Test-Time Training for Automated Jailbreaking Large Language Models [90.48884120934277]
  自動化されたレッドチーム化は、大規模な言語モデルでジェイルブレイクを見つける標準的な方法です。 Red-TTTは、各動作に対する攻撃中に攻撃者のパラメータを更新する。 各ラウンドで、攻撃者は候補者のグループをサンプリングし、被害者の回答に対してそれらをスコアし、次のグループを描く前に政策段階のステップを取る。
  論文  参考訳（メタデータ） (2026-10-04T15:03:08Z)
• AlcaTRAz - Anchored Tree-Rule Defense Against Jailbreaks [0.08699280339422538]
  大規模言語モデル(LLM)は、慎重に構築されたプロンプトを通じて安全アライメントをバイパスするジェイルブレイク攻撃に対して脆弱である。 本稿では,AlcaTRAzを提案する。AlcaTRAzは,入力テキストのみで動作するルールツリーに基づく,プロンプトレベルの防御手法である。 提案手法は,33のオープンウェイトモデル,22のジェイルブレイク攻撃タイプ,および短い単ターンベニグナーのベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-09-03T11:30:08Z)
• The Art of the Jailbreak: Formulating Jailbreak Attacks for LLM Security Beyond Binary Scoring [1.0262304700896199]
  我々は, JailBreakV-28Kから125個の有害シードプロンプトに912個の合成戦略を適用し,114,000個の敵プロンプトを構築した。 私たちは、推論時に有害なシードから、流動的なjailbreakプロンプトを合成するモデルを作ります。 安全フィルタ回避率は0.29-0.51 MalであるAutoDANとAmpleGCGは24-39対40-140である。
  論文  参考訳（メタデータ） (2026-05-09T23:51:18Z)
• PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
  大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。 textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
  論文  参考訳（メタデータ） (2026-03-30T23:52:54Z)
• ADVERSA: Measuring Multi-Turn Guardrail Degradation and Judge Reliability in Large Language Models [0.0]
  大規模言語モデル(LLM)の安全性に対する多くの逆評価は、単一プロンプトを評価し、バイナリパス/フェイルの結果を報告する。 ADVERSAは、ガードレールのダイナミクスを丸ごとのコンプライアンストラジェクトリとして測定する自動化されたレッドチームフレームワークである。 トレーニングディストリビューションから展開された細調整された攻撃者に対して、アタッカードリフトを障害モードとして記述する。
  論文  参考訳（メタデータ） (2026-03-10T03:00:34Z)
• SEMA: Simple yet Effective Learning for Multi-Turn Jailbreak Attacks [53.97948802255959]
  本稿では,既存の戦略や外部データに頼ることなく,マルチターン攻撃者を訓練するフレームワークを提案する。 準備された自己調整は、非拒否的で、よく構造化された、多ターンの逆のプロンプトを微調整することで、使用可能なロールアウトを可能にする。 私たちは、意図の整合性、コンプライアンスリスク、詳細レベルを組み合わせたインテントドリフト対応の報酬を通じて、多ターンジェイルブレイクにおける有害な意図を保ちます。
  論文  参考訳（メタデータ） (2026-02-06T16:44:57Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• FLRT: Fluent Student-Teacher Redteaming [0.0]
  我々は既存のアルゴリズムを改良し、安全に配慮したモデルに対する強力で流動的な攻撃を開発する。 本手法は, 害虫モデルに毒素をエミュレートする新しい蒸留法を中心にした手法である。 Llama-2-7B, Llama-3-8B, Vicuna-7Bの攻撃成功率は93$%であり, モデルによるパープレキシティは33$である。
  論文  参考訳（メタデータ） (2024-07-24T17:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。