論文の概要: Learning Strategies to Break Judges

• arxiv url: http://arxiv.org/abs/2609.33773v1
• Date: Sun, 27 Sep 2026 17:13:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:49:43.407329
• Title: Learning Strategies to Break Judges
• Title（参考訳）: 裁判官を壊すための戦略を学ぶ
• Abstract要約: 本稿では,解釈可能な障害機構を公開するエージェント判断器の弱点を見つけるためのエージェント誘導手法を提案する。 GPT-5.6-solとClaude Opus 5にメソッドをデプロイし、エージェントオーケストレータ、Codex、Claude Codeと組み合わせる。 すべてのエージェント・ジャッジにおいて、一貫して評価をバイパスする突然変異戦略を蒸留できることがわかりました。
• 参考スコア（独自算出の注目度）: 14.254472131009654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As AI agents surpass human performance, it becomes exceedingly hard for system designers to evaluate them directly and understand their failure modes. Consequently, agents themselves are being deployed extensively to evaluate, judge, and provide feedback on model traces. But this raises an important question: how can we trust the judge? In this work, we propose an agent-guided method to find weaknesses of agentic judges that expose interpretable failure mechanisms. Our method focuses on mathematical reasoning and proceeds in two stages: first, we deploy adversarial agents to mutate a set of sound proofs by introducing errors, attempting to misguide judges---in other words, injecting errors that judges are unable to catch. Then, we distill these attempts into a small set of mutation strategies which allow us to analyze the failure modes of the judges. To ensure that these strategies are not overfit to the initial set of proofs, we evaluate them by applying the mutation strategies to a held-out set of proofs and querying the same judge. We deploy our method on GPT-5.6-sol and Claude Opus 5, paired with their agent orchestrators, Codex and Claude Code, respectively. These are used both as mutators to introduce errors and as judges to evaluate correctness of mathematical reasoning. We find that across all the agentic judges, we are able to distill mutation strategies that consistently bypass their evaluations, thereby enabling us to ascertain actionable failure modes. Our analysis also reveals that judge reliability degrades at the frontier: errors in Olympiad-level proofs or graduate-level mathematical texts are detected more consistently, whereas flaws in research-level manuscripts are more likely to escape detection.
• Abstract（参考訳）: AIエージェントが人間のパフォーマンスを超えると、システム設計者がそれらを直接評価し、失敗モードを理解することは極めて困難になる。 その結果、エージェント自体が広範囲にデプロイされ、モデルトレースを評価し、判断し、フィードバックを提供する。 しかし、これは重要な疑問を提起する。 本研究では,解釈可能な故障機構を公開するエージェント判断器の弱点を見つけるためのエージェント誘導手法を提案する。 提案手法は, 数学的推論に重点を置いており, まず, 反抗エージェントを配置して, 誤りを導入して, 判断を誤認させようとする, 言い換えれば, 判断できない誤りを注入する, という2段階の手法である。 そして、これらの試みを小さな突然変異戦略に蒸留し、審査員の失敗モードを分析する。 これらの戦略が初期証明に不適合であることを確かめるために, 提案手法を保留された証明集合に適用し, 同一の審査員に問い合わせることにより, 評価を行う。 我々は, GPT-5.6-sol と Claude Opus 5 にそれぞれエージェントオーケストレータ, Codex, Claude Code を配置する。 これらは、エラーを導入するためのミューテータや、数学的推論の正確性を評価するための裁判官として使用される。 すべてのエージェント・ジャッジにおいて、継続的に評価を回避し、実行可能な障害モードの確認を可能にする突然変異戦略を蒸留できることがわかりました。 オリンピアードレベルの証明や大学院レベルの数学的テキストの誤りがより一貫して検出されるのに対して、研究レベルの原稿の欠陥は検出から逃れる傾向にある。

関連論文リスト

• LLM-as-a-Judge Is Not an Oracle: Why Self-Improving Agents Need Deterministic Guardrails [0.0]
  自己改善エージェントパイプラインは、その中心に問題がある。 評価信号は、判定バイアス、ハーネスとメートル法故障、地道エラー、報酬ハッキングの11のクラスで失敗した。 ProCTORは、ステートフルオーケストレータがすべてのツールアクセスを保持し、ステートレスサブエージェントが障害を診断し、それらが適用できないドラフト突然変異を診断する、教師と学生のループである。
  論文  参考訳（メタデータ） (2026-09-02T07:54:23Z)
• Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
  LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。 BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。 LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
  論文  参考訳（メタデータ） (2026-05-24T05:24:09Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。