論文の概要: Concerns in Benchmarking Jailbreaks: An Empirical Study of Attack Success Rates

• arxiv url: http://arxiv.org/abs/2610.26595v1
• Date: Mon, 19 Oct 2026 15:39:16 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:10:06.396626
• Title: Concerns in Benchmarking Jailbreaks: An Empirical Study of Attack Success Rates
• Title（参考訳）: ベンチマーク・ジェイルブレイクの懸念--攻撃成功率に関する実証的研究
• Abstract要約: 3つの評価手法を用いて3つのオープンウェイト言語モデルに対する8つの攻撃について検討した。 我々は、明確な成功の定義、一致した応答予算、検証された評価器、繰り返しの相互作用による累積的失敗の報告を推奨する。
• 参考スコア（独自算出の注目度）: 2.2661625284195717
• License:
• Abstract: Jailbreak methods are commonly compared using Attack Success Rate (ASR), but these comparisons depend on how responses are generated and judged. In this paper, we examine eight attacks against three open-weight language models using three evaluation procedures. Low-resource language attacks achieve a mean ASR of 96.0% under keyword matching but 2.7% under a Qwen3 evaluator following StrongREJECT scoring instructions. Changing the number and arrangement of attempts reverses the ranking of DeepInception and rewriting. In a separate experiment, sampling 100 responses for each unchanged request at Ollama's default temperature of 0.8 yields 100% ASR under keyword matching but 50% under the Qwen3 evaluator. Beyond evaluator sensitivity, these findings raise a safety concern: repeated sampling can expose residual unsafe behavior despite an initial refusal, suggesting probabilistic suppression rather than robust exclusion. We recommend explicit success definitions, matched response budgets, validated evaluators, and reporting cumulative failure under repeated interaction rather than relying on single-generation tests.
• Abstract（参考訳）: ジェイルブレイク法は、一般的にアタック成功率(ASR)を用いて比較されるが、これらの比較は、どのように反応が生成され、判断されるかによって異なる。 本稿では,3つの評価手法を用いて,3つのオープンウェイト言語モデルに対する8つの攻撃について検討する。 低リソース言語攻撃はキーワードマッチングでは平均96.0%のASRを達成するが、StrongREJECTスコアリング命令に従ってQwen3評価器では2.7%となる。 試行数と配列を変更すると、DeepInceptionと書き直しのランクが逆になる。 別の実験では、Ollamaのデフォルト温度 0.8 における変更要求ごとに100の応答をサンプリングすると、キーワードマッチングでは100% ASR が得られるが、Qwen3 評価器では 50% となる。 反復サンプリングは、最初の拒絶にもかかわらず、残余の安全でない振る舞いを露呈し、堅牢な排除よりも確率的抑制を示唆する。 我々は、明確な成功の定義、対応予算の一致、評価者の評価、単一世代テストに頼るのではなく、反復的な相互作用の下で累積的な失敗を報告することを推奨する。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
  オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。 我々は,実行前の基準下での両使用量を評価した。 検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
  論文  参考訳（メタデータ） (2026-09-17T09:17:00Z)
• Item Response Theory for AI Safety [23.16156306184828]
  アイテム反応理論 (IRT) は、心理測定値が推定された項目のパフォーマンスから潜伏者を測定する統計ツールキットである。 IRTは安全ベンチマークを読み、減らし、監査するための既製のツールキットです。
  論文  参考訳（メタデータ） (2026-08-05T17:25:27Z)
• Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes [0.0]
  大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。 ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。 提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
  論文  参考訳（メタデータ） (2026-06-14T16:13:15Z)
• Reliable to Expressive: A Curriculum for Rubric-Following Safety Judges [2.8523456804049885]
  安全審査員は、進化する基準に対してモデルアウトプットを評価するためにますます配置される。 最近のメタ評価研究は、プロンプトとルーブリックの変動下では脆く保たれていることを示している。 本稿では,インスタンス条件の動的ルーブリックと,信頼性と表現性を備えたカリキュラムを組み合わせたトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-08T08:02:57Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• On Randomness in Agentic Evals [6.177270420667714]
  エージェントシステムは、エージェントがタスクを解決するために環境と対話するベンチマークで評価される。 ほとんどの論文では、タスク毎にひとつの実行から計算されたpass@1スコアが報告されている。 単一ランパス@1推定値は、どのランが選択されたかによって2.2から6.0ポイント異なる。
  論文  参考訳（メタデータ） (2026-02-06T19:49:13Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。