論文の概要: Pinned and Still Unstable: Within-Judge Verdict Variance and the Noise Floor of LLM-as-Judge Leaderboards

• arxiv url: http://arxiv.org/abs/2609.33044v1
• Date: Sun, 27 Sep 2026 00:19:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.405952
• Title: Pinned and Still Unstable: Within-Judge Verdict Variance and the Noise Floor of LLM-as-Judge Leaderboards
• Title（参考訳）: ピン止めと不安定: LLM-as-Judge リーダーボードの予測変数とノイズフロア
• Abstract要約: LLM評価は、審査員を固定されたモデルスナップショットにピン留めし、温度ゼロで復号すると再現可能な判定が得られると仮定する。 この仮定は、LLM-as-Judgeがクラウドサービスインフラ上でどのように運用されているかという特性として失敗することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern LLM evaluation assumes that pinning a judge to a fixed model snapshot and decoding at temperature zero yields reproducible verdicts. We show this assumption fails as a property of how LLM-as-Judge is operationalized on cloud serving infrastructure, not of any particular model family. Across four frontier judges all served via a single major enterprise cloud platform and three standard benchmarks (Arena-Hard, AlpacaEval 2, MT-Bench), identical inputs to the same pinned, temperature-zero judge produce different verdicts across re-runs: per-item flip rates of roughly 5% on average and about 40% on the close-call items that decide leaderboard margins, with a per-judge magnitude spanning a 40x range (from 0.13% to nearly 10%). We introduce metrics tailored to this instability: per-item flip rate, a two-part stability profile (waver fraction and conditional intensity), and adjacency separability - and report what the variance does and does not do to rankings. For a single judge the aggregate ranking is stable (0% top-K instability, 0% pooled winner flip); what degrades is precision: under a paired hierarchical bootstrap, roughly one-fifth to three-quarters of adjacent leaderboard positions are statistically indistinguishable, a noise floor we attribute primarily to finite prompt sampling rather than to the judge. Across judges, leaderboards agree on the coarse ordering but diverge in the middle (Kendall's tau as low as 0.42-0.64 between families on Arena-Hard), and of 13 published head-to-head ranking claims we re-judge, 5 fail under a defensible judge swap or re-run. We argue that leaderboards report unhedged point estimates that misrepresent the noise floor of the instrument, and we propose a minimal, low-cost reporting protocol: several judge re-runs, published stability profiles and adjacency intervals, and results under at least two judges from different families.
• Abstract（参考訳）: 現代のLCM評価では、審査員を固定されたモデルスナップショットにピン留めし、温度ゼロで復号すると再現可能な判定が得られると仮定している。 LLM-as-Judgeが特定のモデルファミリではなく、クラウドサービスインフラストラクチャ上でどのように運用されているかという特性として、この仮定が失敗することを示す。 3つの標準ベンチマーク(Arena-Hard, AlpacaEval 2, MT-Bench)で、同じピン付きで温度ゼロの裁判官が、再実行毎に異なる判定結果を生成する。 私たちは、この不安定性に合わせたメトリクスを紹介します。各項目のフリップレート、二部分の安定性プロファイル(波分と条件強度)、および隣接分離性(adjacency separability)です。 1人の審査員にとって、総合ランキングは安定している(0%トップK不安定、0%プールされた勝者フリップ)。 アップグレードは正確である: ペアの階層的なブートストラップの下では、隣接するリーダーボードの位置の約5分の1から3分の1は統計的に区別できない。 審査員全体では、リーダーボードは粗悪な命令に同意するが、中間(アレナ=ハードの家族間では0.42-0.64という低い値)で分岐し、13のヘッド・ツー・ヘッド・ランキング・クレームが再審査され、5は修正可能な裁判官のスワップまたはリランで失敗する。 我々は、リーダーボードが機器の騒音フロアを誤って表現していると見積もっていることを議論し、いくつかの裁判官の再実行、安定プロファイルと隣接間隔の公表、および異なる家庭の少なくとも2人の裁判官による結果という、最小限の低コストの報告プロトコルを提案する。

関連論文リスト

• Three Ways Classical Test Theory Misleads for LLM Judges [0.0]
  広く移植可能な3つのものは、審査官がそれらのデザインが持つ役割を整理するため、試験とは別の意味を持つことを示す。 ルーブリック素子上で計算された内部整合係数は、スコアラ面を持たない。 それにもかかわらず、裁判官が帰属できない係数は、配置決定と開示文書に下流を移動する。
  論文  参考訳（メタデータ） (2026-08-31T11:44:16Z)
• Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM [0.47745223151611654]
  LLM判事によるベンチマークは、通常1点の10分の1の違いを判断するが、これらのベンチマークの解像度は測定されていない。 測定対象としてシステムを扱い,373,019の判断をシステム,項目,判断,相互作用成分に分解する。
  論文  参考訳（メタデータ） (2026-08-17T09:08:49Z)
• RoPoLL: Robust Panel of LLM Judges [0.48140562393133074]
  我々は,ハマー汚染モデルの下でLLM Juryを定式化し,PoLLが任意の正の汚染下でバイアスを発生させることを示す。 本稿では,PoLLパネルを保存するが,アグリゲーション関数を頑健な平均推定器で置き換えるRoPoLL(LLM-as-JudgeのRobust Panel)を提案する。
  論文  参考訳（メタデータ） (2026-06-29T21:34:27Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines [0.0]
  4つのプロバイダファミリーの5つの審査モデルに対して,9つのデバイアスング戦略を比較した。 スタイルバイアスは支配的バイアス(全モデルで0.76-0.92)であり、位置バイアス(=0.04)をはるかに超えている。 統合予算戦略により、Claude Sonnet 4 は+11.2 pp (p 0.0001) に大幅に改善され、他のモデルの方向性に好意的な傾向が見られた。
  論文  参考訳（メタデータ） (2026-04-25T07:18:30Z)
• The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation [0.0]
  2つのOpenAIジャッジモデルを用いて、10のカテゴリにまたがる29のタスクの同一評価について検討した。 審査員全体では、ペアの選好は平均13.6%で反転し、質問の28%は20%のフリップ率を超え、1つの質問は56%に達した。 クロスジャッジ合意はわずか76%であり、意味論的に等価なプロンプトテンプレートはテストケースの25%で過半数の結果を変え、決定論的復号化は減少するが矛盾を排除しない。
  論文  参考訳（メタデータ） (2026-04-23T18:19:10Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。