論文の概要: Style Over Substance: Content-Invariant Wrappers Flip LLM Safety-Judge Verdicts
- arxiv url: http://arxiv.org/abs/2609.08236v1
- Date: Tue, 08 Sep 2026 04:27:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.577946
- Title: Style Over Substance: Content-Invariant Wrappers Flip LLM Safety-Judge Verdicts
- Title（参考訳）: 素材に関するスタイル:コンテンツ不変ラッパーFlip LLM安全性判断
- Abstract要約: 重み付き重み付けによるフリップ率と騒音床の測定を行った。
ほとんどの裁判官はほとんど動けないが、特定の裁判官は安価に悪用できる盲点を持っている。
データセット、ラッパー、コード、評価ラベル毎にリリースしています。
- 参考スコア（独自算出の注目度）: 2.583375572224943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic safety judges -- systems such as Llama Guard or a GPT-4o grading prompt that decide whether a model's reply is harmful -- produce the numbers behind almost every reported jailbreak success rate, defense evaluation, and safety leaderboard. We ask whether these judges grade what a reply contains or how it sounds. We keep a reply's content fixed and add content-invariant style wrappers: fixed strings placed before or after the reply that change only its tone (an educational disclaimer, a fake safety "reasoning" block, a token refusal followed by the unchanged harmful body), or, on harmless refusals, framing that merely sounds dangerous. The body is preserved byte-for-byte, so a faithful judge must return the same verdict, and any flip is an error of the judge, not a change in safety. Over 600 JailbreakBench replies x up to 7 forms x 8 judges, we measure flip rates with paired significance tests and measured noise floors. Findings are precise rather than universal: most judges barely move, but specific judges harbor cheaply exploitable blind spots. A token-refusal wrapper flips 19.9% of GPT-4o-mini's correct "unsafe" verdicts (noise floor 0.5%; 18.2% under majority-of-three re-scoring) yet moves Claude only 0.4%. The deployed Llama Guard 4 is deterministically gamed: an "educational course" framing flips 12.3% of its harmful verdicts to safe. A second deployed guard (gpt-oss-safeguard-20b) is immune, and rewriting only the grading prompt (StrongREJECT-style) cuts the attack tenfold on the identical model -- the vulnerability lives in the judge, not the content. A two-annotator human validation confirms 100% content invariance and 90% of flips as judge errors (kappa 0.95-1.0), and a bootstrap shows the underlying model ranking is already unstable to sampling alone. We release the dataset, wrappers, code, and per-verdict labels.
- Abstract（参考訳）: 自動安全審査員(Llama Guard)やGPT-4oのグレーディングプロンプト(GPT-4o gradingプロンプト)は、脱獄の成功率や防衛評価、安全リーダーボードなど、報告されたほぼすべての数字を、モデルが有害かどうかを判断する。
これらの審査員は、返信に何が含まれているのか、どのように聞こえるのかを判断する。
応答の内容を固定し、コンテンツ不変のスタイルラッパーを追加する: 応答の前後に、そのトーンだけを変える固定された文字列(教育的なディファイラ、偽の安全"推論"ブロック、トークンの拒否、不当な有害な身体が続く)、または、無害な拒絶で、単に危険に聞こえるフレーミング(framing)。
本体はバイト単位で保存されるので、忠実な裁判官は同じ判決を返さなければならない。
600以上の JailbreakBench が x を最大 7 フォーム x 8 の裁判官に応答し、ペアの重要度テストと測定されたノイズフロアでフリップ率を測定する。
ほとんどの裁判官はほとんど動けないが、特定の裁判官は安価に悪用できる盲点を持っている。
トークン拒絶ラッパーは、GPT-4o-miniの正しい「安全でない」評決の19.9%をひっくり返す(ノイズフロア0.5%、多数決で18.2%)が、クロードはわずか0.4%しか動かない。
ランマガード4(Llama Guard 4)は、教育コース(educational course)のフレーミングで、悪質な評決の12.3%を安全に切り替える。
第二に展開されたガード(gpt-oss-safeguard-20b)は免疫性があり、グレーティングプロンプト(StrongREJECTスタイル)のみを書き換えることで、同一モデル上で攻撃を10倍に削減する。
2つのアノテータによる人間による検証では、判断エラーとして100%のコンテンツ不変性と90%のフリップが確認され(Kappa 0.95-1.0)、ブートストラップでは、基礎となるモデルランキングが、サンプリングだけでは不安定であることが示されている。
データセット、ラッパー、コード、評価ラベル毎にリリースしています。
関連論文リスト
- Jagged Judges: Epistemic Stability Under Silence, Pressure, and Persistence [2.3273914394869393]
我々は,LLM審査員の安定のための統一ストレステストであるemphWiggle Frameworkを紹介する。
このフレームワークを使用して、安全性、毒性、AI書き込みの検出、政治的応答性評価など、14の判定タスクにわたる9つのフロンティアモデルを調査します。
我々は、裁判官の評決を変えるのに成功する圧力が、根底的な真実に関してほとんど常にネット崩壊していることに気付く。
論文 参考訳（メタデータ） (2026-08-12T23:14:05Z) - More Convincing, Not More Correct: Self-Play Reward Hacking of Reference-Free LLM Judges [4.167333498582309]
言語モデルをそれ自身の参照なし判断に対して訓練することは、モデルが答えの正しさを判断することを前提にしている。
候補者に条件付きで、裁判官は正当性ではなく妥当性をスコアし、政策が悪用することを学習する偽陽性の盆地を残す。
論文 参考訳（メタデータ） (2026-07-07T06:59:30Z) - How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring [7.789295015218435]
LLMジェイルブレイクとプロンプトインジェクションに関するほぼすべての論文は、アタック・サクセス・レート(ASR)を報告している。
我々は2人の裁判官の家族と人間の多数決を比較して攻撃する。
審査員の精度とリコールを報告し、審査員の精度を補正したASRを報告し、審査員の逆チェックを含めることを推奨する。
論文 参考訳（メタデータ） (2026-06-24T07:14:17Z) - LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation [79.03892269184145]
LivingArenaは自動汚染耐性評価フレームワークである。
モデルは質問を交互に提案し、相手が正しく答えられないアイテムを提示する。
質問者は、相手の知識境界を積極的に特定し、活用することが奨励される。
論文 参考訳（メタデータ） (2026-06-19T06:20:58Z) - Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。
BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。
LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
論文 参考訳（メタデータ） (2026-05-24T05:24:09Z) - How Sensitive Are Safety Benchmarks to Judge Configuration Choices? [5.94231111588812]
HarmBenchのような安全ベンチマークは、モデル応答を有害または安全と分類する判断に頼っている。
判定モデルと判定プロンプトの組み合わせは,一般に一定の実装の詳細として扱われる。
審査員モデルの定式化により, 評価された有害応答率を最大24.2%にシフトした。
論文 参考訳（メタデータ） (2026-04-27T05:59:59Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - Evaluative Fingerprints: Stable and Systematic Differences in LLM Evaluator Behavior [0.0]
審査員は一貫性があるが、互いに一致していない。
評価は3,240件を超え、中間合意はほぼゼロに近い。
審査員の平均得点は、審査員の実際の値に該当しない合成判定を生成する。
論文 参考訳（メタデータ） (2026-01-08T17:02:22Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-10-03T07:01:45Z) - JADES: A Universal Framework for Jailbreak Assessment via Decompositional Scoring [45.76641811031552]
本稿では,JADES(Jailbreak Assessment via Decompositional Scoring)について紹介する。
その鍵となるメカニズムは、入力された有害な質問を一連の重み付けされたサブ問合せに自動的に分解し、各サブ問合せをスコアし、サブスコアを最終決定に重み付けすることである。
JADES on JailbreakQRは400対のjailbreakプロンプトと応答からなる新しいベンチマークで、それぞれが人間によって細心の注意を払って注釈付けされている。
論文 参考訳（メタデータ） (2025-08-28T14:40:27Z) - JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。
本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。
我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
論文 参考訳（メタデータ） (2023-10-26T17:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。