論文の概要: PatchBench: Measuring Collateral Damage in Activation Patching

• arxiv url: http://arxiv.org/abs/2610.10276v1
• Date: Wed, 07 Oct 2026 15:43:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.010435
• Title: PatchBench: Measuring Collateral Damage in Activation Patching
• Title（参考訳）: PatchBench: 活性化パッチにおける副次的損傷の測定
• Abstract要約: PatchBenchは、経験的に観察されたモデル固有のジェイルブレイク障害のベンチマークで、実用的な有害な答えを誘導する。 有害なソースプロンプトごとに、PatchBench-Localは近隣地域の3つのファミリーを生成する。 有害近傍補正と良近傍保存を評価し、より広範囲な局所抑制と選択的修復を区別する。
• 参考スコア（独自算出の注目度）: 0.769672852567215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An LLM safety patch can pass a benchmark while still being a poor repair. This risk is especially acute for jailbreak repairs, where the goal is to correct a specific unsafe behaviour without changing unrelated behaviours. A patch may block exact evaluation prompts yet fail on close harmful variants, or suppress harmful behaviour by over-refusing benign prompts that share its wording or structure. Existing protocols primarily test whether models can be broken, while aggregate metrics (attack success, refusal rates, global capability) cannot distinguish selective repairs from broader local suppression. To address this gap, we introduce PatchBench, a benchmark of empirically observed model-specific jailbreak failures inducing actionable harmful answers. Starting from 27,870 prompts from 37 public datasets, we curate 15,314 English prompts and query 8 open-source instruction-tuned models. Combining WildGuard filtering, pairwise Elo ranking, and manual verification, we retain a curated bank of 400 high-confidence jailbreak failures. We further introduce PatchBench-Local, an evaluation protocol testing whether a patch is behaviourally precise. For each harmful source prompt, PatchBench-Local generates three families of local neighbours: harmful variants preserving malicious intent, benign prompts with matched structure, and benign prompts reusing key harmful terms. It evaluates harmful-neighbour correction and benign-neighbour preservation, distinguishing selective repair from broader local suppression. Evaluating four activation steering methods with PatchBench-Local and MMLU shows that global capability can remain nearly unchanged while local benign regressions are severe, confirming aggregate metrics miss important collateral damage. PatchBench-Local provides a more precise basis for developing and comparing jailbreak repair methods.
• Abstract（参考訳）: LLMの安全性パッチは、まだ修理が不十分なままベンチマークをパスすることができる。 このリスクは、特にジェイルブレイクの修復において、無関係な振る舞いを変えることなく、特定の安全でない振る舞いを修正することを目的としている。 パッチは、正確な評価プロンプトをブロックするが、近い有害な変種では失敗する可能性がある。 既存のプロトコルは、主にモデルが壊れるかどうかをテストするが、集約されたメトリクス(アタック成功、拒絶率、グローバル能力)は、より広範な局所的な抑圧から選択的な修復を区別できない。 このギャップに対処するために、実験的に観察されたモデル固有のジェイルブレイク障害のベンチマークであるPatchBenchを紹介します。 37の公開データセットから27,870のプロンプトから、15,314の英語プロンプトをキュレートし、8つのオープンソースのインストラクションチューニングモデルに問い合わせます。 WildGuardのフィルタリング、ペアワイズEloランキング、手動検証を組み合わせることで、400件の高信頼のジェイルブレイク障害のキュレートされた銀行を維持します。 PatchBench-Localは、パッチが動作的正確かどうかをテストする評価プロトコルである。 有害なソースプロンプトごとに、PatchBench-Localは悪質なインテントを保存する有害な変種、マッチした構造を持つ良性プロンプト、重要な有害な用語を再利用する良性プロンプトの3つのファミリーを生成する。 有害近傍補正と良近傍保存を評価し、より広範囲な局所抑制と選択的修復を区別する。 PatchBench-Local と MMLU による4つのアクティベーションステアリング手法の評価は,局所的な良性回帰が深刻である一方で,グローバルな能力がほとんど変化しないことを示す。 PatchBench-Localは、ジェイルブレイクの修復方法を開発し比較するためのより正確な基盤を提供する。

関連論文リスト

• Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale [54.83971397981572]
  言語モデルエージェントは、ソフトウェアリポジトリ全体を通してますます運用される。 サイバーセキュリティ評価は、関連するコードを見つけることよりも、脆弱性を検出、再生、または修復できるかどうかを測定する。 脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。
  論文  参考訳（メタデータ） (2026-09-14T17:44:51Z)
• IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
  研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。 提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:04Z)
• PatchBench: Evaluating AI Agents for Vulnerability Patching [9.083611812336539]
  我々は,現実的な脆弱性パッチタスクにおいてAIエージェントを評価するための新しいベンチマークを提案する。 PatchBenchは、クラッシュスタックの外に根本修正がある脆弱性を選択し、脆弱性移植とコード修正を使用して、過去の脆弱性を新しいリポジトリコンテキストに移行する。 AIxCCエージェントのトップ3を含む11の最先端エージェントを含む、オリジナルのPoCのみの検証は、エージェントのパッチ処理の解決率を平均1.83$times$で検証する。
  論文  参考訳（メタデータ） (2026-09-03T16:44:22Z)
• CodeMechanic: Bug-Property-Guided Program Mitigation [23.976869967674435]
  本稿では,メモリ破損に対する制約付きmit-イゲーションを生成するためのバグプロパタイズ誘導システムであるCodeMechanicを提案する。 LLMに永久的な修復を依頼する代わりに、CodeMechanicはクラッシュから侵害されたメモリセーフティプロパティを再構築する。 CodeMechanicは、3.4x - 4.3x以上のパッチを、開発者が書き直した修復と意味的に同等に生成する。
  論文  参考訳（メタデータ） (2026-08-23T08:06:47Z)
• SafeClawBench: Separating Semantic, Audit-Evidence, and Sandbox Harm in Tool-Using LLM Agents [31.978790013349947]
  SafeClawBenchは、600の制御された敵タスクを備えたツール使用エージェントセキュリティのためのベンチマークである。 5つのエージェントエンドポイントを4つのプロンプトレベルポリシーで評価する。 これらのエンドポイントは、異なる障害モードをキャプチャします。
  論文  参考訳（メタデータ） (2026-06-16T18:04:45Z)
• Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics [50.36375380196006]
  ジェイルブレイクプロンプトは、大規模な言語モデルにおけるアライメントガードレールをバイパスすることができる。 先行検出アプローチは固定距離空間に大きく依存する。 この仮定は,意図によって無視されるが,安全関連キーワードを含む疑似悪質なプロンプトの下で破られることを示す。 本稿では, LLM を入力を出力に変換する運動系として扱う Manifold Trajectory Kinetics (MTK) を提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:49:26Z)
• ContraFix: Agentic Vulnerability Repair via Differential Runtime Evidence and Skill Reuse [10.503895811137095]
  大規模言語モデル(LLM)エージェントは、自動脆弱性修復にますます利用されている。 最近の実証的な結果は、これらのエージェントがいまだに現実世界の脆弱性と戦っていることを示している。 ContraFixは、再利用可能な修復スキルとランタイムエビデンスを結合するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-05-17T13:48:25Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• OmniSafeBench-MM: A Unified Benchmark and Toolbox for Multimodal Jailbreak Attack-Defense Evaluation [94.61617176929384]
  OmniSafeBench-MMはマルチモーダル・ジェイルブレイク攻撃防御評価のための総合ツールボックスである。 13の代表的な攻撃方法と15の防衛戦略、9つの主要なリスクドメインと50のきめ細かいカテゴリにまたがる多様なデータセットを統合している。 データ、方法論、評価をオープンソースで再現可能なプラットフォームに統合することで、OmniSafeBench-MMは将来の研究のための標準化された基盤を提供する。
  論文  参考訳（メタデータ） (2025-12-06T22:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。