論文の概要: Same Attack, Different Judge: A First Controlled Adversarial Comparison of Jev, LLM Judges, and Purpose-Built Safety Classifiers

• arxiv url: http://arxiv.org/abs/2610.17820v1
• Date: Tue, 13 Oct 2026 06:43:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.535511
• Title: Same Attack, Different Judge: A First Controlled Adversarial Comparison of Jev, LLM Judges, and Purpose-Built Safety Classifiers
• Title（参考訳）: 同一の攻撃, 異なる判断: Jev と LLM の第一制御逆比較, 目的・目的・目的の安全分類器
• Abstract要約: TypeSafe AIのJevは、新しいタイプの安全判事だ。 開発者が事前に定義した質問に答え、各回答の確率を返す。 本報告では,Jevの初回制御逆評価について述べる。
• 参考スコア（独自算出の注目度）: 12.231986760106365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: TypeSafe AI's Jev is a new kind of safety judge. It generates no text and no label: it answers questions the developer defines in advance and returns a probability for each answer. The vendor admits that adversarial input can change these answers but gives no numbers. In this paper, we present the first controlled adversarial evaluation of Jev. We build a test harness that sends every system the same payload under the same policy, and run it on four public-data tasks, from rule-based ones (input moderation, injection detection, routing) to a judgment-based one (phishing detection), with fifty attack variants from thirteen families. The targets are Jev, five GPT and GLM judges, and two local classifiers (Llama Guard 3, Prompt Guard 2). We find that Jev is the most robust system on input moderation: eight forgeries of its structured input bypass none of its decisions, and a sentence asking only why someone might make a harmful request bypasses 9% of its blocks, against 56% for GPT-6 Astra. On phishing detection. However, the same forgeries bypass 19-29% of the emails it flags, and even without attack Jev detects only 62% of phishing emails, against 77-81% for the GLM judges. Jev is also the fastest judge, but it flags the most benign requests (27%). The local classifiers fail differently: a training-example statement makes Llama Guard 3 miss 62% of the phishing it had flagged. These results suggest that Jev resists attacks on tasks with a clear rule to check but is more exposed on tasks that call for an overall judgment.
• Abstract（参考訳）: TypeSafe AIのJevは、新しいタイプの安全判事だ。 テキストもラベルも生成せず、開発者が事前に定義した質問に回答し、各回答の確率を返す。 ベンダーは、敵対的な入力がこれらの答えを変えることができることを認めているが、数字は与えない。 本稿では,Jevの初回制御逆評価について述べる。 ルールベースのもの(インプットモデレーション、インジェクション検出、ルーティング)から判断ベースのもの(フィッシング検出)まで、4つの公開データタスクで実行し、13のファミリーから50の攻撃変種を発生させるテストハーネスを構築します。 ターゲットは、Jev、GPTおよびGLMの審査員5人、および地元の2つの分類者(Llama Guard 3 Prompt Guard 2)である。 Jevは入力モデレーションにおいて最も堅牢なシステムであり、構造化された入力をバイパスする8つの偽造であり、なぜ有害な要求がブロックの9%をバイパスするのかを問う文であり、GPT-6 Astraは56%である。 フィッシング検出について しかし、同じ偽造犯が警告するメールの19～29%をバイパスし、攻撃なしでもJevはフィッシングメールの62%しか検出していない。 Jevは最速の審査員でもあるが、最も良心的なリクエスト(27%)を通知する。 Llama Guard 3は、フラグを立てたフィッシングの62%を見逃している。 これらの結果は、Jevはチェックする明確なルールを持つタスクに対する攻撃に抵抗するが、全体的な判断を要求するタスクによりさらされていることを示唆している。

関連論文リスト

• Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications [28.344686452709496]
  我々は、Jev Program Decision Hijacking (JPDH) と呼んでいる。 本稿では,JevProbeを提案する。JevProbeは,JPDHを評価するためのフレームワークで,プログラムが消費する決定を通じて,到達可能なコンテキスト面から敵対的影響をトレースする。 我々のキーとなる洞察は、アプリケーションロジックが様々なJev判断を観測可能な決定にマッピングし、体系的なプログラムによる攻撃評価を可能にすることである。
  論文  参考訳（メタデータ） (2026-10-13T15:59:31Z)
• JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places [34.429649156970015]
  Jevを7つのベンチマークから9つのパネル上の3つのフラッシュレベルLCMの判定値と比較する。 Jevの精度は、27のペア比較のうち、少なくとも8つのペア比較において、それらと大きく異なる。 規則上の基準では、全てのLLM判事とJevは共にヒトのラッカーから出発する。
  論文  参考訳（メタデータ） (2026-09-24T13:16:21Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• Style Over Substance: Content-Invariant Wrappers Flip LLM Safety-Judge Verdicts [2.583375572224943]
  重み付き重み付けによるフリップ率と騒音床の測定を行った。 ほとんどの裁判官はほとんど動けないが、特定の裁判官は安価に悪用できる盲点を持っている。 データセット、ラッパー、コード、評価ラベル毎にリリースしています。
  論文  参考訳（メタデータ） (2026-09-08T04:27:22Z)
• How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring [7.789295015218435]
  LLMジェイルブレイクとプロンプトインジェクションに関するほぼすべての論文は、アタック・サクセス・レート(ASR)を報告している。 我々は2人の裁判官の家族と人間の多数決を比較して攻撃する。 審査員の精度とリコールを報告し、審査員の精度を補正したASRを報告し、審査員の逆チェックを含めることを推奨する。
  論文  参考訳（メタデータ） (2026-06-24T07:14:17Z)
• Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
  LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。 BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。 LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
  論文  参考訳（メタデータ） (2026-05-24T05:24:09Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Voting for the right answer: Adversarial defense for speaker verification [79.10523688806852]
  ASVは敵の攻撃のレーダー下にあり、これは人間の知覚による本来の攻撃と似ている。 盲点領域におけるASVのリスクの高い決定を防止するため、「正しい回答を求める」という考え方を提案する。 実験結果から,本手法は両攻撃者に対するロバスト性を向上することが示された。
  論文  参考訳（メタデータ） (2021-06-15T04:05:28Z)
• Backdoor Attack against Speaker Verification [86.43395230456339]
  学習データを汚染することにより,話者検証モデルに隠れたバックドアを注入できることを示す。 また,既存のバックドア攻撃が話者認証攻撃に直接適用できないことも実証した。
  論文  参考訳（メタデータ） (2020-10-22T11:10:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。