論文の概要: JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places

• arxiv url: http://arxiv.org/abs/2609.29769v1
• Date: Thu, 24 Sep 2026 13:16:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.947655
• Title: JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places
• Title（参考訳）: JEV vs. LLMs, ルブリック・ジャッジス, チーパー, ファスト, ワーグ
• Abstract要約: Jevは、テキストを生成することなく許可された回答の確率を返す型付き分類器である。 7つのベンチマークから抽出した9つのパネル上の3つのフラッシュレベルLCMジャッジと比較した。 Jevの精度は、27対比較のうち8対でLLM判事のルーリックと大きく異なる。
• 参考スコア（独自算出の注目度）: 34.429649156970015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We ask whether Jev, a typed classifier that returns probabilities over permitted answers without generating text, can replace an LLM rubric judge. We compare it with three flash-tier LLM judges on nine panels drawn from seven benchmarks, giving every judge identical criterion texts. Jev's accuracy differs significantly from an LLM judge's in only 8 of 27 paired comparisons, ahead mostly on binary criteria and behind only on graded ones, and most of the other comparisons are inconclusive. Summed over the nine panels, the LLM judges, called once per criterion, cost 29 to 325 times as much as Jev and took 30 to 220 times as long. On graded criteria all four judges agree more with one another than with the labels and mostly assign lower levels than the raters. One of several observational accounts is that raters followed scale conventions our criterion texts omit. Jev's confidence ranks its own errors on most panels, which should make a cheap classifier the ideal first stage of a cascade that defers its uncertain verdicts to an LLM judge. Correlated errors undo that advantage. The LLM judges repeat nearly all of Jev's most confident errors, so a cascade replayed on the recorded verdicts lowers cost but gains at most 1.5 points over the best single judge with cross-fitted thresholds, and at most 2.0 even with oracle thresholds.
• Abstract（参考訳）: テキストを生成せずに許容回答の確率を返却する型付き分類器であるJevが,LLMルーリック判断器を置き換えることができるかどうかを問う。 7つのベンチマークから引き出された9つのパネル上の3つのフラッシュレベルLCMジャッジと比較し、すべてのジャッジが同じ基準テキストを提供する。 Jevの精度は、27対比較のうち8対比較でLLMの判断と大きく異なり、主に二項基準に先立って、グレード比較に先立って、他の比較のほとんどは決定的ではない。 LLMの審査員は9つのパネルに圧倒され、1基準あたり1回、Jevの29倍から325倍のコストで30倍から220倍のコストがかかった。 格付けされた基準では、4人の裁判官はラベルよりも互いに合意し、ラッカーよりも低いレベルを割り当てている。 いくつかの観察上の説明の1つは、ラッカーが我々の基準文を省略するスケールの慣例に従っているということである。 ゼフの自信は、ほとんどのパネルに独自の誤りをランク付けし、安価な分類器をカスケードの理想的な第1段階とし、LCM判事に不確実な判決を下す。 関連したエラーは、その利点を解き放つ。 LLMの審査員は、Jevの最も確実なエラーのほとんどを繰り返すため、記録された評決で再プレイされたカスケードは、コストを下げるが、最高の1人の審査員に対して、クロスフィットしきい値で1.5ポイント、オラクルしきい値でも2.0ポイント上昇する。

関連論文リスト

• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges [6.609843448260634]
  LLM-as-a-judgeパラダイムは,大規模言語モデルを評価するアプローチとして急速に普及している。 本稿では,人間間の合意が高いクリーンなシナリオに焦点を当てる。 我々は、複雑性や長さを早めるための感度や、寛大さへの傾向など、審査モデルの脆弱性を識別する。
  論文  参考訳（メタデータ） (2024-06-18T13:49:54Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena [76.21004582932268]
  本研究では, LLM-as-a-judgeの使用状況と限界について検討し, 位置, 冗長性, 自己改善バイアスについて検討した。 次に、マルチターン質問セットであるMT-benchとクラウドソースのバトルプラットフォームであるArenaの2つのベンチマークを導入することで、LCMの判断と人間の嗜好の一致を検証する。
  論文  参考訳（メタデータ） (2023-06-09T05:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。