論文の概要: Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation
- arxiv url: http://arxiv.org/abs/2609.34198v1
- Date: Mon, 28 Sep 2026 03:10:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.720945
- Title: Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation
- Title（参考訳）: フリーズドジャッジ, 移動エージェント: バージョン依存型LCMジャッジエラーと判定支援エージェント評価の限界
- Abstract要約: 言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。
公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
- 参考スコア（独自算出の注目度）: 7.504639516424482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language-model judges compare agent upgrades with their predecessors, but a fixed judge can make version-dependent mistakes. We analyze 35 public coding-agent submissions (20 prespecified version pairs on 250 SWE-bench Verified issues), two customer-service agents (155 tau-bench tasks), and 1,106 expert-labeled AgentRewardBench trajectories. An upstream outage left three judges for the primary SWE-bench analysis (8,743 aligned agent-task cells); the fourth is descriptive. All three coding-agent judges and all four tau-bench judges reject task-conditioned error invariance after multiplicity adjustment. On SWE-bench, 32 of 60 judge-by-pair units have a detectable differential comparison component; eight judge-only intervals declare improvements that execution-based intervals cannot establish, despite rank correlations of 0.71-0.79. In tau-bench, one judge confidently reverses a nine-point reference-reward gap by penalizing a procedural habit the reward ignores. False acceptance of failed coding patches rises with agent capability conditional on task and reference outcome, while a task-solvability prediction from AgentRewardBench reverses sign in SWE-bench. Transporting old-version calibration raises mean absolute comparison error on SWE-bench from 3.8 to 19.5 percentage points; 24.6% of ratio-bootstrap draws are undefined near the correction boundary. A tuned paired audit narrows a classical interval by only about 5% at 80 labeled tasks. A randomized three-arm test does not support the predicted increase in false acceptance from showing the agent's final report (all three Holm-adjusted p-values = 1.0). These results favor explicit reference standards and paired audits of current outputs over judge-only release decisions or transported old-version calibration.
- Abstract（参考訳）: 言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した間違いを犯すことがある。
我々は、35の公開コーディングエージェント(250のSWEベンチ検証問題で20の事前定義されたバージョンペア)、2つのカスタマーサービスエージェント(155のタウベンチタスク)、1,106の専門家ラベル付きエージェントRewardBenchトラジェクトリを分析した。
上流の停電により、SWE-bench解析(8,743個のアライメントされたエージェントタスク細胞)に3人の審査員を残した。
3人のコーディングエージェントジャッジと4人のタウベンチジャッジは、多重度調整後のタスク条件付きエラー不変性を拒絶する。
SWEベンチでは、60の判定単位のうち32は検出可能な差分比較成分を持ち、8つの判定のみ間隔は、0.71-0.79のランク相関にもかかわらず、実行ベース間隔が確立できない改善を宣言する。
タウベンチでは、ある裁判官は、報酬が無視される手続き的習慣を罰することにより、9ポイントの基準-逆のギャップを確実に逆転する。
フェールしたコーディングパッチの受け入れは、タスクと参照結果に条件付きエージェント能力とともに上昇する一方、AgentRewardBenchのタスク解決可能性予測はSWE-benchのサインを反転させる。
古いバージョンキャリブレーションの転送は、SWEベンチの平均絶対誤差を3.8から19.5ポイントに引き上げる。
チューニングされたペア監査は、80のラベル付きタスクにおいて、古典的なインターバルを約5%狭める。
ランダム化された3つのアームテストは、エージェントの最終報告(これら3つのホルム調整されたp-値 = 1.0)を示すことによって、予測される偽の受け入れの増加を支持しない。
これらの結果は、判断のみのリリース決定や古いバージョン校正よりも、明確な基準と、現在のアウトプットのペア監査を好んでいる。
関連論文リスト
- TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation [14.867869624585886]
評価器の構成妥当性を2次元プロファイルとして定式化する。
S と R は独立であり、スカラーの要約がすべての関連する比較を保存することはないことを示す。
これらの結果から, 評価対象構造の変化に対して, 高判定基準は弱い感度で共存できることが示唆された。
論文 参考訳（メタデータ） (2026-08-25T11:32:54Z) - What Confidence Routing Is Actually Doing: Auditing Routing, Calibration, and Commitment in Multi-Agent Deliberation [2.6977334313650565]
マルチエージェント設計では、エージェントに対して信頼性を報告し、最高のエージェントが次に話すように要求する。
トラヒックレベルの3つの質問を分離することにより、信頼性が低下した放送プロトコルを監査する。
論文 参考訳（メタデータ） (2026-08-18T21:39:27Z) - Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。
AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
論文 参考訳（メタデータ） (2026-08-12T07:07:57Z) - Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。
機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
論文 参考訳（メタデータ） (2026-08-11T16:01:15Z) - Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
99,952 の公試例について検討した。
正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。
RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
論文 参考訳（メタデータ） (2026-07-30T10:29:22Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳（メタデータ） (2026-05-27T19:57:15Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。