論文の概要: To Jev or Not to Jev: When Can System-1 Decision Models Replace LLM Judges?
- arxiv url: http://arxiv.org/abs/2611.00505v1
- Date: Sat, 31 Oct 2026 00:51:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-13 18:27:13.698186
- Title: To Jev or Not to Jev: When Can System-1 Decision Models Replace LLM Judges?
- Title(参考訳): Jev or not to Jev: System-1決定モデルがLLM判事を置き換えることはいつ可能か?
- Abstract要約: TypeSafeのJevのような決定モデルは、単一のフォワードパスで、テキストを生成することなく、キャリブレーションされた確率を持つテキストについて、型付き質問に答える。
予備プロトコルで選択した14のシステム-1決定モデルを,4人の生成判断者に対して評価した。
- 参考スコア(独自算出の注目度): 2.8766374696553823
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision models such as TypeSafe's Jev answer typed questions about a text (yes/no, multiple choice, or an ordinal score) with calibrated probabilities in a single forward pass and without generating text, which makes them an inexpensive candidate for LLM-as-a-judge workloads. We evaluate 14 System-1 decision models, selected with a pre-stated protocol, against four generative judges (Claude Haiku 5.5, GPT-5.6 with and without reasoning, and Claude Opus 5.5 with thinking) on eleven established judge benchmarks. Five of the 14 are statistically indistinguishable from GPT-5.6 without reasoning on all five pairwise and best-of-4 benchmarks, and the two strongest, DReX-Max and d1-ultra, are significantly more accurate than Haiku on JudgeBench, LLMBar and RewardBench 2. Conditioned on a reference answer generated once per prompt, eleven models reach 90.3-93.4% on JudgeBench, statistically indistinguishable from Opus 5.5 and GPT-5.6 with reasoning, and on PPE best-of-16 every reference-guided System-1 judge matches GPT-5.6 with reasoning at roughly one-sixteenth of its cost per prompt. Several System-1 judges are better calibrated than every generative judge and correlate more strongly with human helpfulness ratings. Robustness to instructions injected into the judged response is a property of the individual model rather than of the System-1 design: an appended note to the evaluator reverses 0-5% of the correct verdicts of five models but 17-49% for the other nine. Two general System-1 leaderboards that contain no judging tasks predict judging accuracy (Pearson r = 0.95-0.96), a well-calibrated System-1 first stage matches Opus on LLMBar while escalating 17% of items, and same-size controls show that the correctness deficit of a 4B decision model is a reasoning gap rather than a size gap.
- Abstract(参考訳): TypeSafeのJevのような決定モデルは、単一のフォワードパスでキャリブレーションされた確率を持つテキスト(yes/no, multiple choice, or Ordinal score)に関する型付き質問に答え、テキストを生成しないため、LCM-as-a-judgeワークロードの安価な候補となる。
提案手法により選択された14のシステム1決定モデルについて,11の判定基準で4人の生成判断者(Claude Haiku 5.5, GPT-5.6, 推論なし, クロードオプス 5.5)に対して評価を行った。
14のうち5つは、GPT-5.6と統計的に区別できないが、5つのベンチマークとベスト・オブ・フォー・フォー・4のベンチマークの全てを推論せず、最も強い2つのDReX-Maxとd1-ultraは、ジャッジベンチ、LLMBar、RewardBench 2のHaikuよりもかなり正確である。
プロンプト毎に1回生成された基準回答に基づいて、11のモデルが90.3-93.4%に達し、統計学的にOpus 5.5やGPT-5.6と区別できない。
システム1の審査員は、全ての生成的審査員よりも格付けが優れており、人間の有用性評価と強く相関している。
判断された応答に注入された命令に対するロバスト性は、System-1の設計よりも個々のモデルの特性である:評価器に付加されたメモは、5つのモデルの正しい判定の0-5%を逆転するが、残りの9つのモデルの17-49%は逆転する。
Pearson r = 0.95-0.96)、よく校正されたSystem-1第1ステージは、17%の項目をエスカレートしながらLLMBar上のオプスと一致し、同じ大きさの制御では、4B決定モデルの正しさの欠陥はサイズギャップよりも推論ギャップであることが示されている。
関連論文リスト
- Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。
モデルのタスク精度は、その判断精度を強く予測することを示す。
より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
論文 参考訳(メタデータ) (2026-09-10T00:25:39Z) - Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM [0.47745223151611654]
LLM判事によるベンチマークは、通常1点の10分の1の違いを判断するが、これらのベンチマークの解像度は測定されていない。
測定対象としてシステムを扱い,373,019の判断をシステム,項目,判断,相互作用成分に分解する。
論文 参考訳(メタデータ) (2026-08-17T09:08:49Z) - SLMJury: Can Small Language Models Judge as Well as Large Ones? [1.5990700377571574]
SLMJury(Small Language Model (SLM) 評価フレームワーク)を2つのパラダイムの審査対象として紹介する。
我々は10のベンチマークで4つのモデルファミリーから16のSLM判定値(0.6B-14Bパラメータ)をベンチマークした。
信頼性の高い自動評価は大きなプロプライエタリなモデルを必要としないが、単一のSLMが支配的ではない。
論文 参考訳(メタデータ) (2026-06-05T19:38:15Z) - Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。
本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
論文 参考訳(メタデータ) (2026-05-10T18:49:58Z) - The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation [0.0]
2つのOpenAIジャッジモデルを用いて、10のカテゴリにまたがる29のタスクの同一評価について検討した。
審査員全体では、ペアの選好は平均13.6%で反転し、質問の28%は20%のフリップ率を超え、1つの質問は56%に達した。
クロスジャッジ合意はわずか76%であり、意味論的に等価なプロンプトテンプレートはテストケースの25%で過半数の結果を変え、決定論的復号化は減少するが矛盾を排除しない。
論文 参考訳(メタデータ) (2026-04-23T18:19:10Z) - J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。
我々はReasoningJudgeBenchというベンチマークを紹介します。
EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
論文 参考訳(メタデータ) (2025-05-19T16:50:35Z) - JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。
審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
論文 参考訳(メタデータ) (2024-10-16T17:58:19Z) - JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。
本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。
我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
論文 参考訳(メタデータ) (2023-10-26T17:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。