論文の概要: How Sensitive Are LLM Leaderboard Claims to Hidden Model Selection?

• arxiv url: http://arxiv.org/abs/2609.28177v2
• Date: Fri, 25 Sep 2026 22:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-29 21:31:51.719852
• Title: How Sensitive Are LLM Leaderboard Claims to Hidden Model Selection?
• Title（参考訳）: LLMリーダーボードはどうやってモデル選択を隠したのか?
• Abstract要約: LLMのリーダーボードゲインは、プライベートに評価されたモデル変種の選択を反映することができるが、変種の数や依存度は公開されていない。 我々は、提供者の利点の統計的証拠を保持しながら、公表されたマージンがサポートできる隠れた変種がいくつあるか尋ねる。 Open LLM Leaderboard上での394の隣り合うクレームの項目に基づく監査では、391は選考に先立っても統計的サポートが欠如していることがわかった。
• 参考スコア（独自算出の注目度）: 8.763825050121278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM leaderboard gains can reflect selection among privately evaluated model variants, yet neither the number of variants nor their dependence is public. We ask how many hidden variants a published margin can support while retaining statistical evidence of a provider's advantage over a fixed comparator. For a fixed candidate family under a Gaussian margin model, we derive a sensitivity curve that reports this maximum count as a function of a lower bound on within-family correlation. The relevant correlation must match the score used for ranking and the sampling model: in a controlled family, pooled item correlation is 0.90, whereas composite-score correlation is 0.46 under item resampling and 0.92 when MMLU subjects are resampled. An item-based audit of 394 adjacent-rank claims on the Open LLM Leaderboard finds that 391 lack statistical support even before accounting for selection. Among claims that pass the uncorrected test, certification can depend on assumptions about the hidden family's correlation. The resulting curves make these assumptions explicit without estimating the unobserved search size.
• Abstract（参考訳）: LLMのリーダーボードゲインは、プライベートに評価されたモデル変種の選択を反映することができるが、変種の数や依存度は公開されていない。 固定コンパレータに対するプロバイダの優位性の統計的証拠を保持しながら、公表されたマージンがサポートできる隠れた変種がいくつあるか尋ねる。 ガウスマージンモデルの下での固定された候補族に対しては、この最大値を内部相関上の下界の関数として報告する感度曲線を導出する。 関連する相関は、ランキングとサンプリングモデルで用いられるスコアと一致しなければならない:制御されたファミリーでは、プールされたアイテムの相関は0.90であり、合成スコアの相関はアイテムリサンプリングでは0.46であり、MMLUの被験者を再サンプリングする場合は0.92である。 Open LLM Leaderboard上での394の隣り合うクレームの項目に基づく監査では、391は選考に先立っても統計的サポートを欠いていることがわかった。 不正なテストに合格する主張のうち、認証は隠された家族の相関に関する仮定に依存する可能性がある。 結果として得られる曲線は、観測されていない探索サイズを見積もることなく、これらの仮定を明確にする。

関連論文リスト

• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Every Wrong Answer Counts: Option-Level Psychometrics for LLM Multiple-Choice Benchmarks [19.555897987977445]
  LLM Nominal Response Model (LLM-NRM)を導入する。 誤った回答は、等価な誤りを表すのではなく、明瞭で有用な測定情報を持っていることを示す。
  論文  参考訳（メタデータ） (2026-08-03T23:59:39Z)
• The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
  CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。 トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。 利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
  論文  参考訳（メタデータ） (2026-04-28T13:35:31Z)
• Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
  大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。 ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。 我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
  論文  参考訳（メタデータ） (2026-01-29T21:26:50Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Exploiting LLMs for Automatic Hypothesis Assessment via a Logit-Based Calibrated Prior [8.58640746528909]
  統計的な関係が多数あるので、どれが新しく、さらに探究する価値のあるものかを自動で評価できますか? 我々は,モデルの生の出力ロジットを,相関値上のキャリブレーションされた連続的な予測分布に変換する,ロジットに基づくキャリブレーション事前(Calibrated Prior)を提案する。 実世界の変数対2,096のベンチマークで事前評価を行い, 符号精度78.8%, 平均絶対誤差0.26, 95%信頼区間カバレッジ89.2%を達成した。
  論文  参考訳（メタデータ） (2025-06-03T22:54:59Z)
• Chain-of-Thought Unfaithfulness as Disguised Accuracy [0.0]
  CoT(Chain-of-Thought)世代は、大きな言語モデルの内部計算(LLM)と一致している。 モデルが回答を生成するためのCoTへの依存度を測定する指標を提案する。
  論文  参考訳（メタデータ） (2024-02-22T17:23:53Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
  我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。 偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。 本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-19T18:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。