論文の概要: Pinned and Still Unstable: Within-Judge Verdict Variance and the Noise Floor of LLM-as-Judge Leaderboards

• arxiv url: http://arxiv.org/abs/2609.33044v2
• Date: Wed, 30 Sep 2026 20:45:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.407248
• Title: Pinned and Still Unstable: Within-Judge Verdict Variance and the Noise Floor of LLM-as-Judge Leaderboards
• Title（参考訳）: ピン止めと不安定: LLM-as-Judge リーダーボードの予測変数とノイズフロア
• Abstract要約: LLM評価は、審査員を固定されたモデルバージョンに固定し、温度ゼロで復号すると再現可能な判定が得られると仮定する。 この仮定は、LLM-as-Judgeがクラウドサービスインフラ上でどのように運用されているかという特性として失敗することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern LLM evaluation assumes that pinning a judge to a fixed model version and decoding at temperature zero yields reproducible verdicts. We show this assumption fails as a property of how LLM-as-Judge is operationalized on cloud serving infrastructure, not of any particular model family. Across four frontier judges served via a single major enterprise cloud platform and three standard benchmarks (Arena-Hard, AlpacaEval 2, MT-Bench), identical inputs to the same temperature-zero judge, at a constant serving-reported model version, produce different verdicts across re-runs: per-item flip rates of roughly 5% on average and about 40% on the close-call items that decide leaderboard margins, with a per-judge magnitude spanning a 40x range (0.13% to nearly 10%). We introduce metrics tailored to this instability: per-item flip rate, a two-part stability profile (waver fraction and conditional intensity), and adjacency separability. For the principal judge the aggregate ranking is stable (0% top-K instability, 0% pooled winner flip); what degrades is precision: under a paired hierarchical bootstrap, roughly one-fifth to three-quarters of adjacent leaderboard positions are statistically indistinguishable, a noise floor driven mainly by finite prompt sampling rather than the judge. Across judges, leaderboards agree on the coarse ordering but diverge in the middle (Kendall's tau of 0.42-0.64 between Gemini and Sonnet judges on Arena-Hard, values sensitive to answers truncated at the generation cap). Of 15 expected head-to-head orderings we re-judge, 12 survive every re-run of the principal judge but only 8 survive every judge. Leaderboards thus report unhedged point estimates that overstate their precision. We propose a minimal, low-cost reporting protocol: several judge re-runs, published stability profiles and adjacency intervals, and results under at least two judges from different families.
• Abstract（参考訳）: 現代のLCM評価では、審査員を固定されたモデルバージョンに固定し、温度ゼロで復号すると再現可能な判定が得られると仮定している。 LLM-as-Judgeが特定のモデルファミリではなく、クラウドサービスインフラストラクチャ上でどのように運用されているかという特性として、この仮定が失敗することを示す。 1つの主要なエンタープライズクラウドプラットフォームと3つの標準ベンチマーク(Arena-Hard, AlpacaEval 2, MT-Bench)を通じて提供された4つのフロンティアの審査員は、同じ温度ゼロの審査員に対して、定常的なサービス報告されたモデルバージョンで、異なる評決を生成する。 この不安定性に合わせた指標として、各項目のフリップ率、二部分の安定性プロファイル(分数と条件強度)、隣接分離性(adjacency separability)を紹介した。 首席判事にとって、集計ランクは安定している(0%トップK不安定、0%プールされた勝者フリップ)。 分解は正確である: ペアの階層的なブートストラップの下では、隣接するリーダーボードの位置の約5分の1から3分の1は統計的に区別できない。 審査員全体では、リーダーボードは粗悪な順序に同意するが、中央から分岐する(ケンドールのタウはジェミニとソネットの間で0.42-0.64であり、アリーナ・ハードでは答えに敏感な値である)。 予想される15の頭対頭命令のうち、12は首席判事の再選ごとに生き残るが、すべての裁判官を生き残るのは8人だけである。 従って、リーダーは、正確さを誇張する未ヘッジドポイントの見積もりを報告します。 いくつかの審査員が再選し、安定プロファイルと隣接間隔を公表し、異なる家庭の少なくとも2人の審査員による結果を得た、最小限の低コストの報告プロトコルを提案する。

関連論文リスト

• Three Ways Classical Test Theory Misleads for LLM Judges [0.0]
  広く移植可能な3つのものは、審査官がそれらのデザインが持つ役割を整理するため、試験とは別の意味を持つことを示す。 ルーブリック素子上で計算された内部整合係数は、スコアラ面を持たない。 それにもかかわらず、裁判官が帰属できない係数は、配置決定と開示文書に下流を移動する。
  論文  参考訳（メタデータ） (2026-08-31T11:44:16Z)
• Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM [0.47745223151611654]
  LLM判事によるベンチマークは、通常1点の10分の1の違いを判断するが、これらのベンチマークの解像度は測定されていない。 測定対象としてシステムを扱い,373,019の判断をシステム,項目,判断,相互作用成分に分解する。
  論文  参考訳（メタデータ） (2026-08-17T09:08:49Z)
• RoPoLL: Robust Panel of LLM Judges [0.48140562393133074]
  我々は,ハマー汚染モデルの下でLLM Juryを定式化し,PoLLが任意の正の汚染下でバイアスを発生させることを示す。 本稿では,PoLLパネルを保存するが,アグリゲーション関数を頑健な平均推定器で置き換えるRoPoLL(LLM-as-JudgeのRobust Panel)を提案する。
  論文  参考訳（メタデータ） (2026-06-29T21:34:27Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines [0.0]
  4つのプロバイダファミリーの5つの審査モデルに対して,9つのデバイアスング戦略を比較した。 スタイルバイアスは支配的バイアス(全モデルで0.76-0.92)であり、位置バイアス(=0.04)をはるかに超えている。 統合予算戦略により、Claude Sonnet 4 は+11.2 pp (p 0.0001) に大幅に改善され、他のモデルの方向性に好意的な傾向が見られた。
  論文  参考訳（メタデータ） (2026-04-25T07:18:30Z)
• The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation [0.0]
  2つのOpenAIジャッジモデルを用いて、10のカテゴリにまたがる29のタスクの同一評価について検討した。 審査員全体では、ペアの選好は平均13.6%で反転し、質問の28%は20%のフリップ率を超え、1つの質問は56%に達した。 クロスジャッジ合意はわずか76%であり、意味論的に等価なプロンプトテンプレートはテストケースの25%で過半数の結果を変え、決定論的復号化は減少するが矛盾を排除しない。
  論文  参考訳（メタデータ） (2026-04-23T18:19:10Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。