論文の概要: Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM

• arxiv url: http://arxiv.org/abs/2609.27787v1
• Date: Mon, 17 Aug 2026 09:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.968231
• Title: Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM
• Title（参考訳）: LLMのベンチマークのサイズを決めるには、どれがよいか?
• Abstract要約: LLM判事によるベンチマークは、通常1点の10分の1の違いを判断するが、これらのベンチマークの解像度は測定されていない。 測定対象としてシステムを扱い,373,019の判断をシステム,項目,判断,相互作用成分に分解する。
• 参考スコア（独自算出の注目度）: 0.47745223151611654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks scored by an LLM judge routinely adjudicate differences of a tenth of a point, but the resolution of those benchmarks has never been measured. Existing sample-complexity work covers accuracy benchmarks and leaves the judged case open. Treating the system as the object of measurement, we decompose 373,019 judgments into system, item, judge and interaction components using generalizability theory. The central result is structural: under a single judge, generalizability asymptotes to sigma2_s/(sigma2_s+sigma2_sj) regardless of item count, because the system-by-judge term carries no n_i. Items saturate; judges do not. The item cost of a target diverges as the target nears that ceiling. The ceiling is a property of pointwise rubric scoring, not of LLM judging. Run as a pairwise preference in both presentation orders, sigma2_sj falls two orders of magnitude below sigma2_s and the ceiling rises to 0.986 (bootstrap [0.934, 1.000] on 11 systems), so one judge suffices. Pairwise buys a different problem: a system presented first wins 8.6 percentage points more often than the same system presented second, a bias 1.23x the median improvement claimed in the 53 published win-rate comparisons we recovered. Protocol design dominates panel size. Measured floors are 0.41-1.24 points on a 0-5 scale at native item counts, against a median reported improvement of 0.28 points; on the one benchmark recurring often enough for an exactly matched comparison, all 17 recovered MT-Bench improvements fall below MT-Bench's own floor, and 70% of the win-rate claims fall below the pairwise floor. An audit of 628 arXiv papers, double-coded by two independent models and validated against blind human coding (kappa=0.73), finds fewer than one paper in four states whether its evaluation was run more than once, and only 46-67% report uncertainty of any kind.
• Abstract（参考訳）: LLM判事によるベンチマークは、通常1点の10分の1の違いを判断するが、これらのベンチマークの解像度は測定されていない。 既存のサンプル複雑な作業は、精度ベンチマークをカバーし、判断されたケースを開放する。 そこで本研究では,373,019の判断をシステム,項目,判断,相互作用の各要素に一般化可能性理論を用いて分解する。 単一の判定の下では、システム・バイ・ジャッジ項が n_i を持たないため、アイテム数に関係なく、一般化性アシャンポテスを sigma2_s/(sigma2_s+sigma2_sj) に変換する。 アイテムは飽和し、審査員は飽和しない。 目標が天井に近づくと、目標のアイテムコストが分岐する。 天井はLLM判定ではなく、点方向のルーリックスコアの特性である。 Sigma2_sj は 2 桁の sigma2_s を下し、天井は 0.986 (bootstrap [0.934, 1.000] に上昇する。 ペアワイズでは、第1に提示されたシステムが、第2に提示されたシステムよりも8.6ポイント高い確率で勝利した。 プロトコル設計はパネルサイズを支配している。 測定されたフロアは、0-5スケールで0.41-1.24ポイントで、0.28ポイントと報告された中央値の改善に対して、正確に一致した比較に十分な頻度で繰り返される1つのベンチマークでは、復元されたMT-ベンチの改善はMT-ベンチ自身のフロアより低く、ウィンレートのクレームの70%が2つのフロアより下にある。 628件のarXiv論文の監査は、2つの独立したモデルで二重コードされ、盲目の人間のコーディング(kappa=0.73)に対して検証され、その評価が1回以上行われたかどうかの4つの州で1件未満の論文が発見され、いかなる種類の不確実性も46-67%しか報告されていない。

関連論文リスト

• Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus [43.232837964609416]
  オープンウェイトとフロンティアLLMの双方の判定において,かなりの誤差相関が認められた。 比較の最大28%では、共有エラーを無視することは、1つのシステムの方がはるかに優れているという結論につながる。 評価精度を推定し,共有誤りを同定するために,信頼された少数の例を用いるという,単純なアプローチを提案する。
  論文  参考訳（メタデータ） (2026-09-18T19:20:40Z)
• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• The Evaluation Blind Spot: A Stereological Theory of Benchmark Coverage for Large Language Models [0.0]
  実証的に、3つの独立したリーダーボード(Open LLM v2、拡張12ベンチマークスイート、LiveBench)は、いずれも[2.86, 4.80]のd_effを持つ。 Nemhauser (1 − 1/e) 保証付き部分モジュラーグリードアルゴリズムは、4つのベンチマークの安定なコアを見つける。 12のベンチマークと27のカテゴリの反実的な検証では、固有構造がどの評価が置き換えられないかを予測している。
  論文  参考訳（メタデータ） (2026-04-15T08:56:58Z)
• Evaluative Fingerprints: Stable and Systematic Differences in LLM Evaluator Behavior [0.0]
  審査員は一貫性があるが、互いに一致していない。 評価は3,240件を超え、中間合意はほぼゼロに近い。 審査員の平均得点は、審査員の実際の値に該当しない合成判定を生成する。
  論文  参考訳（メタデータ） (2026-01-08T17:02:22Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• When Judgment Becomes Noise: How Design Failures in LLM Judge Benchmarks Silently Undermine Validity [21.192000569821943]
  我々は、厳密な目標と検証可能な構成がなければ、ベンチマークのランキングは、ほぼノイズの多い高信頼度ランキングを生成することができると論じる。 本稿では,Arena-Hard Autoが使用するELOスタイルのアグリゲーションが崩壊し,真のランキングの不確かさをマスクすることを示す。 我々の結果は、妥当性を損なう設計上の失敗を強調し、より良いスコープで信頼性に配慮したベンチマークを構築するための実用的な原則を提供する。
  論文  参考訳（メタデータ） (2025-09-24T16:26:47Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。