論文の概要: Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation
- arxiv url: http://arxiv.org/abs/2609.34198v2
- Date: Tue, 29 Sep 2026 03:19:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.721382
- Title: Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation
- Title（参考訳）: フリーズドジャッジ, 移動エージェント: バージョン依存型LCMジャッジエラーと判定支援エージェント評価の限界
- Abstract要約: 言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。
公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
- 参考スコア（独自算出の注目度）: 7.504639516424482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language-model judges compare agent upgrades with their predecessors, but a fixed judge can make version-dependent mistakes. We analyze 35 public coding-agent submissions (20 prespecified version pairs on 250 SWE-bench Verified issues), two customer-service agents (155 tau-bench tasks), and 1,106 expert-labeled AgentRewardBench trajectories. An upstream outage left three judges for the primary SWE-bench analysis (8,743 aligned cells); the fourth is descriptive. All three coding-agent judges and all four tau-bench judges reject task-conditioned error invariance after multiplicity adjustment. On SWE-bench, 32 of 60 judge-by-pair units have a detectable differential comparison component; eight judge-only intervals declare upgrades that execution-based intervals cannot establish, despite rank correlations of 0.71-0.79. In tau-bench, one judge reverses a nine-point reference-reward gap by penalizing a procedural habit the reward ignores. False acceptance of failed coding patches rises with agent capability conditional on task and execution outcome, while a task-solvability prediction reverses sign across domains. A separately fixed post-submission OpenHands follow-up on the same 250 issues (eight configurations, 1,981 three-judge cells) reproduces the capability/false-acceptance association (mean Spearman +0.944, exact p=0.000099) and decreasing Youden contrast (mean -0.937, p=0.000397); this is observational, not a new-task replication. Transporting old-version calibration raises SWE-bench comparison error from 3.8 to 19.5 points, with 24.6% undefined bootstrap ratios. A paired audit saves only 5% in interval width at 80 labeled tasks. A randomized self-report test is negative (three adjusted p-values=1.0). These results favor paired audits of current outputs over judge-only release decisions or transported calibration; independent human patch review remains pending.
- Abstract（参考訳）: 言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した間違いを犯すことがある。
我々は、35の公開コーディングエージェント(250のSWEベンチ検証問題で20の事前定義されたバージョンペア)、2つのカスタマーサービスエージェント(155のタウベンチタスク)、1,106の専門家ラベル付きエージェントRewardBenchトラジェクトリを分析した。
上流の停電で3人の判事がSWE-bench解析(8,743個のアライメント細胞)を行った。
3人のコーディングエージェントジャッジと4人のタウベンチジャッジは、多重度調整後のタスク条件付きエラー不変性を拒絶する。
SWEベンチでは、60の判定単位のうち32は、検出可能な差分比較成分を持ち、8つの判定のみ間隔は、0.71-0.79のランク相関にもかかわらず、実行ベース間隔が確立できないアップグレードを宣言する。
タウベンチでは、ある裁判官は、報酬が無視される手続き的習慣を罰することにより、9点の基準-逆のギャップを逆転する。
フェールしたコーディングパッチの受け入れは、タスクと実行結果に条件付きエージェント機能によって増加するが、タスク解決可能性予測はドメイン間のサインを反転させる。
同じ250号(8つの構成、1,981個の三重項細胞)で別々に固定されたOpenHandsのフォローアップは、能力/偽受容関連(平均スピアマン+0.944、正確なp=0.000099)を再現し、ユーデンコントラスト(平均-0.937, p=0.000397)を減少させる。
古いバージョンをキャリブレーションすることで、SWEベンチマークの比較誤差は3.8から19.5ポイントに上昇し、24.6%は未定義のブートストラップ比である。
ペア監査は80のラベル付きタスクでインターバル幅の5%しか節約できない。
ランダム化された自己申告テストは負(3つの調整されたp値=1.0)である。
これらの結果は、審査員のみのリリース決定や輸送キャリブレーションよりも、現在のアウトプットをペアで監査することを好む。
関連論文リスト
- TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation [14.867869624585886]
評価器の構成妥当性を2次元プロファイルとして定式化する。
S と R は独立であり、スカラーの要約がすべての関連する比較を保存することはないことを示す。
これらの結果から, 評価対象構造の変化に対して, 高判定基準は弱い感度で共存できることが示唆された。
論文 参考訳（メタデータ） (2026-08-25T11:32:54Z) - What Confidence Routing Is Actually Doing: Auditing Routing, Calibration, and Commitment in Multi-Agent Deliberation [2.6977334313650565]
マルチエージェント設計では、エージェントに対して信頼性を報告し、最高のエージェントが次に話すように要求する。
トラヒックレベルの3つの質問を分離することにより、信頼性が低下した放送プロトコルを監査する。
論文 参考訳（メタデータ） (2026-08-18T21:39:27Z) - Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。
AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
論文 参考訳（メタデータ） (2026-08-12T07:07:57Z) - Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。
機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
論文 参考訳（メタデータ） (2026-08-11T16:01:15Z) - Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
99,952 の公試例について検討した。
正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。
RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
論文 参考訳（メタデータ） (2026-07-30T10:29:22Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳（メタデータ） (2026-05-27T19:57:15Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。