論文の概要: Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation
- arxiv url: http://arxiv.org/abs/2608.13564v1
- Date: Thu, 25 Jun 2026 03:58:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.194582
- Title: Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation
- Title（参考訳）: エージェント評価における過クレディテーションを低減させる逆行性判断ルーブリックの誘導
- Abstract要約: 大規模に言語モデルエージェントを評価することは、自動判断として第2の言語モデルに依存している。
このような裁判官は、信用できるかどうかにかかっているが、既存の裁判官はG-Evalのようにスコアリングのルーリックを手書きするか、審査員の重みを微調整するかのいずれかであり、どちらも成功として流動的だが失敗に終わった軌跡を信用する傾向がある。
本稿では,ラベル付きトラジェクトリに対する反射的進化により判断ルージェリクスを進化させ,環境報酬との一致を最大化し,凍結し,環境アクセスのない1つのモデルコールにおける保留トラジェリクスに適用するForgeForgeを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating language-model agents at scale increasingly relies on a second language model as an automatic judge, because the gold signal, an executable environment reward, is expensive, slow, or unavailable at deployment time. Such a judge is a reward-free proxy whose value depends on whether it can be trusted, yet existing judges either hand-write the scoring rubric, as in G-Eval, or fine-tune the judge's weights, and both tend to credit fluent but unsuccessful trajectories as successes. We instead induce the text of an agent-judging rubric from a small set of ground-truth-labeled trajectories, grounding it in true outcomes. We present RubricForge, which evolves a judge rubric by reflective evolution against labeled trajectories to maximize agreement with the environment reward, freezes it, and applies it to held-out trajectories in one model call with no environment access. The optimized artifact is human-readable text, so every verdict is attributable to named criteria. Using one frozen 7B model as both agent and judge, on tau-bench (173 labeled trajectories drawn from 220 rollouts) and WebShop (160), the principal gain is faithfulness rather than raw agreement. The edge over a generic G-Eval judge is not statistically significant (McNemar p = 0.248), and absolute-score calibration marginally favors the generic judge (|err| difference -0.048, p = 2x10^-4). Yet RubricForge over-credits failed trajectories roughly half as often (0.115 vs. 0.173 false-pass rate on tau-bench, with three over-credit catches and zero reversals) and ranks graded WebShop outcomes more faithfully (Spearman 0.410 vs. 0.370). For a reward-free evaluator the false-pass rate, not aggregate agreement, is the deployment-relevant quantity, since a false pass ships a broken agent whereas a false fail merely costs a retry.
- Abstract（参考訳）: 言語モデルエージェントを大規模に評価することは、自動判断器として第2の言語モデルにますます依存している。
このような裁判官は、信用できるかどうかにかかっているが、既存の裁判官はG-Evalのようにスコアリングのルーリックを手書きするか、審査員の重みを微調整するかのいずれかであり、どちらも成功として流動的だが失敗に終わった軌跡を信用する傾向がある。
代わりに、接地トラジェクトリの小さな集合からエージェント・ジャッジ・ルーブリックのテキストを誘導し、それを真の結果に基礎づける。
本稿では,ラベル付きトラジェクトリに対する反射的進化によって判断ルージリックを進化させ,環境報酬との一致を最大化し,凍結させ,環境アクセスのない1つのモデルコールにおける保留トラジェクトリに適用する。
最適化されたアーティファクトは、ヒューマン可読テキストであるので、すべての検証は、名前付き基準に起因する。
Tau-bench (173ラベル付きトラジェクトリは220ロールアウトから引き出された)とWebShop (160)において、フリーズ7Bモデルをエージェントおよび判定の両方として使用することにより、主要な利益は生の合意よりも忠実である。
ジェネリックG-Evalの判定の辺は統計的に有意ではなく(McNemar p = 0.248)、絶対スコアキャリブレーションはジェネリックジャッジ(|err| 差 -0.048, p = 2x10^-4)をわずかに好んでいる(|err| 差 -0.048, p = 2x10^-4)。
しかし、RubricForgeのオーバークレジットは、約半分の頻度(tau-benchでの0.115対0.173の偽パスレート、3回のオーバークレジットキャッチとゼロ逆転)で失敗し、ランク付けされたWebShopの結果はより忠実に(Spearman 0.410 vs. 0.370)。
報酬のない評価者にとって、集合的合意ではなく、偽パスレートは配置関連量であり、偽パスが壊れたエージェントを出荷するのに対して、偽フェールは単なる再試行コストである。
関連論文リスト
- Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。
生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。
どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
論文 参考訳（メタデータ） (2026-08-30T20:00:17Z) - Beyond Accuracy: A Dual-Judge Evaluation Protocol for Vision-Language Models in Legally Grounded Tasks [1.2555090617748867]
我々は、標準の0-10品質判断と厳密な二項意味等価判定とを、人為的な基準に対して組み合わせた二重判断プロトコルを寄贈する。
我々は、制御された視覚的基盤を持つ規制課題について研究し、その意味は、すべての入力に対して既知の参照を持つコーデレートされた質問である。
論文 参考訳（メタデータ） (2026-08-25T08:49:46Z) - aipsy-judge: A Specialized, Psychologist-Corrected Local Judge for the Psychological Safety of Conversational AI [0.0]
aipsy-benchを使って、完全にクロスクロスしたコンピテンススタディを実行します。
我々は、測定値当たりの心理学的補正対象を、小さく凍結した局所的なモデルに蒸留する。
Aipsy-judge-1.0は、修正対象を合成基材よりも良く追跡する。
論文 参考訳（メタデータ） (2026-07-13T23:11:07Z) - When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。
判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。
大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
論文 参考訳（メタデータ） (2026-07-09T02:46:51Z) - More Convincing, Not More Correct: Self-Play Reward Hacking of Reference-Free LLM Judges [4.167333498582309]
言語モデルをそれ自身の参照なし判断に対して訓練することは、モデルが答えの正しさを判断することを前提にしている。
候補者に条件付きで、裁判官は正当性ではなく妥当性をスコアし、政策が悪用することを学習する偽陽性の盆地を残す。
論文 参考訳（メタデータ） (2026-07-07T06:59:30Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - Context Over Content: Exposing Evaluation Faking in Automated Judges [8.404817247058698]
本報告では, 下流の判断モデルに対して, 判定結果が評価モデルの継続動作に系統的に悪影響を及ぼすような, 未測定の脆弱性について検討する。
LLMの安全性と品質の3つのベンチマークにまたがる1,520の応答に対して,評価内容を厳密に一定に保持する,制御された実験フレームワークを導入する。
一貫性のある$textitleniency bias$: 低いスコアがモデルの再トレーニングや廃止を引き起こすことを知らせると、判断が確実に軟化する。
論文 参考訳（メタデータ） (2026-04-16T16:55:53Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。
CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
論文 参考訳（メタデータ） (2025-07-12T01:34:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。