論文の概要: JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places

• arxiv url: http://arxiv.org/abs/2609.29769v2
• Date: Mon, 28 Sep 2026 21:11:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.536591
• Title: JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places
• Title（参考訳）: JEV vs. LLMs, ルブリック・ジャッジス, チーパー, ファスト, ワーグ
• Abstract要約: Jevを7つのベンチマークから9つのパネル上の3つのフラッシュレベルLCMの判定値と比較する。 Jevの精度は、27のペア比較のうち、少なくとも8つのペア比較において、それらと大きく異なる。 規則上の基準では、全てのLLM判事とJevは共にヒトのラッカーから出発する。
• 参考スコア（独自算出の注目度）: 34.429649156970015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM judges score outputs against rubrics well enough to have become the norm, both in benchmarks and as rewards for training. Jev, a classifier-like alternative its creators call a "decision model", returns probabilities over permitted answers with a calibrated confidence score, which LLM judges do not natively provide. We compare Jev with three flash-tier LLM judges on nine panels from seven benchmarks with human judgments, giving every judge identical criterion texts. The LLM judges run in two setups: holistically, reading a whole rubric at once as Jev does, and one criterion at a time. Jev can often stand in for them. They cost 16 to 325 times as much and take 28 to 350 times as long, yet in each setup Jev's accuracy differs significantly from theirs in at most 8 of 27 paired comparisons, ahead mostly on binary checklist criteria and behind only on ordinal ones. Despite their different designs, the two kinds of judge err alike. On ordinal criteria, all LLM judges and Jev depart from the human raters together, agreeing more with one another than with the labels and mostly assigning lower levels. On Jev's most confident errors, about 96% of LLM verdicts repeat its wrong answer, where independent errors would give about half. Intuitively, calibrated confidence should make Jev an ideal first stage of a cascade that defers uncertain verdicts to an LLM judge. Yet such cascades only lower cost while adding little accuracy: even with oracle thresholds, none beats the best single judge by more than 2.7 points. Calibration can tell a cascade when to defer, but the cascade also needs a fallback that errs elsewhere; these judges are wrong in the same places. These findings, which hold in both setups and at high reasoning effort, suggest that a cascade of judges succeeds only when its judges make complementary errors, and that future decision models should be designed afresh with that aim.
• Abstract（参考訳）: LLMの審査員は、ベンチマークとトレーニングの報酬の両方において、標準となるのに十分なルーリックに対するアウトプットを出力する。 と呼ばれる分類器のような代替品であるJevは、LLMの審査員がネイティブに提供していない評価スコアで、許容された回答よりも確率を返却する。 私たちは、Jevを7つのベンチマークから9つのパネルで3つのフラッシュレベルLCM判事と比較し、すべての審査員に同じ基準テキストを与えます。 LLMの審査員は2つの設定で実行されます。 ジェブはしばしば彼らのために立ち上がる。 それらは16倍から325倍のコストで、28倍から350倍の時間を要するが、各セットアップでは、Jevの精度は27対比較のうち、少なくとも8対比較で大きく異なる。 異なるデザインにもかかわらず、2種類の審査員は同じように振る舞う。 規則上の基準では、全てのLLM判事とJevは、ラベルよりも互いに合意し、ほとんどの場合、下位レベルを割り当てる。 Jevの最も自信のあるエラーについて、LCMの判断の約96%は、独立したエラーが約半分を与えるという誤った回答を繰り返している。 直感的には、キャリブレーションされた信頼は、Jevをカスケードの理想的な第1段階とし、LCM判事に不確実な判断を下す。 しかし、そのようなカスケードはコストを下げるだけであり、精度は低い: オラクルのしきい値であっても、2.7ポイント以上の優れた審査員に勝る者はいない。 キャリブレーションはいつ延期するかをカスケードに知らせるが、カスケードには他の場所でも悪くなるフォールバックも必要である。 これらの結果は,審査員が相補的な誤りを犯した場合にのみ,審査員のカスケードが成功することを示唆し,将来の意思決定モデルは,その目的に即して設計されるべきである。

関連論文リスト

• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges [6.609843448260634]
  LLM-as-a-judgeパラダイムは,大規模言語モデルを評価するアプローチとして急速に普及している。 本稿では,人間間の合意が高いクリーンなシナリオに焦点を当てる。 我々は、複雑性や長さを早めるための感度や、寛大さへの傾向など、審査モデルの脆弱性を識別する。
  論文  参考訳（メタデータ） (2024-06-18T13:49:54Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena [76.21004582932268]
  本研究では, LLM-as-a-judgeの使用状況と限界について検討し, 位置, 冗長性, 自己改善バイアスについて検討した。 次に、マルチターン質問セットであるMT-benchとクラウドソースのバトルプラットフォームであるArenaの2つのベンチマークを導入することで、LCMの判断と人間の嗜好の一致を検証する。
  論文  参考訳（メタデータ） (2023-06-09T05:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。