論文の概要: The Missing Compliance Class: LLM Graders That Collapse Jailbreak Success, and a Free Check

• arxiv url: http://arxiv.org/abs/2610.24872v1
• Date: Sat, 17 Oct 2026 21:20:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 15:38:10.62209
• Title: The Missing Compliance Class: LLM Graders That Collapse Jailbreak Success, and a Free Check
• Title（参考訳）: 脱獄を成功させるLLMグレーダーと無料チェック
• Abstract要約: Jailbreakの論文は、攻撃の成功率、有害な要求をもたらす応答のシェアを報告し、ターゲットモデルのプロパティとして読みます。 対象モデル,プロンプト,応答を固定し,グレーダのみを変更する。 3つのモデルファミリーから8Bおよび9Bパラメータの密度の高い3つのグレーダは、クラスに散らばる代わりに、隣のクラス、回避クラスに適合した応答を移動させる。
• 参考スコア（独自算出の注目度）: 0.01128093125355052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Jailbreak papers report an attack success rate, the share of responses that deliver the harmful request, and read it as a property of the target model. We hold the target model, the prompts and the responses fixed and change only the grader. Three dense graders of 8B and 9B parameters, from three model families, move compliant responses to the neighbouring class, evasion, instead of scattering them across classes. One of them assigns the compliance label zero times in 900 responses. This class collapse also appears on new harmful requests, on a target model from a third family, and in a held-out 7B grader from a fourth family. Per-class label counts expose it at no cost and without human labels. The collapse decides how the rate behaves under a change of grader. On two corpora of 900 responses and eight graders, the compliance rate differs by a factor of 22 to 25, while the non-refusal rate differs by 18 to 23 percentage points. Without the three collapsing graders, compliance differs by a factor of 1.7 to 2.8 on all four corpora, and non-refusal still differs by 10 to 22 points. These results do not change when every grader is called once. We propose a reporting minimum that keeps the compliance rate and adds its per-class label counts and the named grader. Beside it goes the non-refusal rate, whose disagreement across graders is additive.
• Abstract（参考訳）: Jailbreakの論文は、攻撃の成功率、有害な要求をもたらす応答のシェアを報告し、ターゲットモデルのプロパティとして読みます。 対象モデル,プロンプト,応答を固定し,グレーダのみを変更する。 3つのモデルファミリーから8Bおよび9Bパラメータの密度の高い3つのグレーダは、クラスに散らばる代わりに、隣のクラス、回避クラスに適合した応答を移動させる。 そのうちの1つは900の応答でコンプライアンスラベルをゼロ回割り当てる。 このクラス崩壊は、新たな有害な要求、第3ファミリーのターゲットモデル、および第4ファミリーのホールドアウト7Bグレーダーにも現れる。 クラスごとのラベルカウントは、コストがかからず、人間のラベルなしで公開する。 崩壊は、グレーダの変化の下での速度がどのように振る舞うかを決定する。 900回答と8年生の2つのコーパスでは、コンプライアンス率は22から25に、非拒否率は18から23に異なる。 崩壊する3つのグレードがなければ、コンプライアンスは4つのコーパスすべてで1.7から2.8の係数で異なり、非拒否は10から22の点で依然として異なる。 これらの結果は、すべてのグレーダが一度呼び出された時点では変化しない。 本稿では、コンプライアンス率を維持し、クラスごとのラベル数と名前付きグレーダを追加するレポート最小値を提案する。 学年間での意見の相違が加法的である非拒否率(non-refusal rate)を下方修正する。

関連論文リスト

• Teacher-Anchored Selection of Post-Training Quantized Models under Domain Shift [46.60221265861393]
  候補者と教師が固定され,対象ラベルが欠落または不足している家族に対する選択について検討した。 独立に訓練されたコンボリューション(英語版)またはビジョントランスフォーマー(英語版)の教師1人当たりの1人のうち1人、34人以上の候補者が、平均的な後悔を和らげる。
  論文  参考訳（メタデータ） (2026-09-25T11:49:05Z)
• Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams [11.24196216089969]
  大きなコースでの長期試験は何百時間もかかり、資格のある学士は少ない。 落とし穴を示すために、私たちは、クローズドモデルとオープンウェイトモデルにまたがる171ドルの構成で、実用的なコンピュータビジョン試験を格付けしました。 2つの試験で3900ドル(約3万2000円)の特典をプールしたアダプタは、5つの小さなオープンモデルに、人間のグレードラーと同等以上のものを与えてくれます。
  論文  参考訳（メタデータ） (2026-09-24T10:07:57Z)
• A Reproducible, License-Aware Distillation Recipe for CPUDeployable Safety Classification [0.0]
  現在のオープンガードモデルは10億から90億のパラメータを保持し、グラフィック処理ユニットに向けられ、中央処理ユニットでリクエスト毎に秒単位で答えられる。 本稿では,その制約に対処するライセンス対応の知識蒸留レシピを提案する。 強力なオープンガードは、24のパブリックデータセットから抽出された約97,000のプロンプトのコーパスを、公共のハザード分類に合わせた7つの安全カテゴリにラベル付けしている。 語彙、浅いエンコーダ、生成アーキテクチャにまたがる小さな学生の群れが、その信号を再現するために訓練されている。 すべてのモデルは、4つのスライスに6,361行の独立したゴールドのベンチマークに対してスコアされ、ラベルは別としてラベル付けされる。
  論文  参考訳（メタデータ） (2026-08-21T19:19:12Z)
• Grading Needs a Rubric, Not Intelligence [0.0]
  小さい言語モデルは、明示的なルーリックに対して格付けするときに、かなり高価なモデルと同じくらい確実に、オープンエンドの検査回答を格付けすることができる。 モデルファミリを2つのモデルファミリから6つのコスト効率モデル構成を3つの理由づけで評価した。
  論文  参考訳（メタデータ） (2026-08-18T16:00:05Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• DeflectBench: A Benchmark for Evaluating Rhetorical Fallacy Generation in LLMs [0.0]
  3つの偏向戦略で4つのフロンティアモデルから23,990世代を評価する。 請求1件の拒絶は、80件の請求のうち11ポイントしか変わっていない。 1つのプロンプトフレームの変更は、モデル拒絶の中で100ポイント近くスイングすることができる。
  論文  参考訳（メタデータ） (2026-06-18T15:17:50Z)
• On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
  Semi-Supervised Learning (SSL)は基本的にラベルの問題である。 SSL に "class" を明示的に組み込んでいます。 提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
  論文  参考訳（メタデータ） (2022-06-29T22:01:29Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)
• Generalized and Incremental Few-Shot Learning by Explicit Learning and Calibration without Forgetting [86.56447683502951]
  これらの課題を明確かつ効果的に解決できる3段階のフレームワークを提案する。 提案手法を,画像とビデオの断片分類のための4つの挑戦的ベンチマークデータセット上で評価した。
  論文  参考訳（メタデータ） (2021-08-18T14:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。