論文の概要: Are Near-Tied LLM Rankings Robust to Family-DIF-Guided Benchmark Recomposition?

• arxiv url: http://arxiv.org/abs/2609.00482v1
• Date: Mon, 31 Aug 2026 23:29:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.163217
• Title: Are Near-Tied LLM Rankings Robust to Family-DIF-Guided Benchmark Recomposition?
• Title（参考訳）: Family-DIF-Guided Benchmark Recomposition におけるNear-Tied LLMランキングはロバストか?
• Abstract要約: 小さなリーダーボードギャップは、ある言語モデルが他の言語よりも優れているという証拠として解釈されることが多いが、その兆候はどのベンチマーク項目が含まれているかによって異なるかもしれない。 5つのベンチマークからの項目レベルの応答と、多次元アイテム応答理論に対する家族ラベルのないスペクトル近似を用いてこれを検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small leaderboard gaps are often interpreted as evidence that one language model is better than another, but their sign may depend on which benchmark items are included. We test this using item-level responses from five benchmarks and a family-label-free spectral approximation to multidimensional item-response theory (MIRT). In owner-disjoint folds, one owner half identifies items with low residual differential item functioning across model families (low-DIF); the resulting frozen, source- and easiness-balanced weights score models in the other half, while equally short matched-random subtests control for generic subtest variation. Full-benchmark and low-DIF rankings remain strongly correlated ($τ_b=.900$--$.948$). Yet in four of five benchmarks, 30.9--47.1\% of cross-family pairs initially within one percentage point reverse order, exceeding their matched-random medians by 16.9--28.6 percentage points (all $p=.001$). The fifth benchmark shows no reliable excess ($-0.9$ points, $p=.689$). The pattern survives all pre-specified population perturbations, and residual item--family signatures replicate across owner halves; however, no family shows a consistent advantage across benchmarks. Thus, globally stable rankings can still leave individual near-tie orderings sensitive to benchmark composition, and sub-one-point leaderboard gaps should be accompanied by evidence that the implied ordering is composition-robust.
• Abstract（参考訳）: 小さなリーダーボードギャップは、ある言語モデルが他の言語よりも優れているという証拠として解釈されることが多いが、その兆候はどのベンチマーク項目が含まれているかによって異なるかもしれない。 5つのベンチマークからの項目レベルの応答と、多次元アイテム応答理論(MIRT)に対する家族ラベルのないスペクトル近似を用いてこれを検証する。 モデルファミリ間で機能する低差分項目 (low-DIF) を持つアイテムを、一方の所有者の半分が識別する。 フルベンチマークと低DIFランキングは依然として強く相関している(τ_b=.900$--.948$)が、5つのベンチマークのうち4つのベンチマークのうち、30.9--47.1\%のクロスファミリーペアは、最初は1パーセンテージの逆順の範囲内であり、マッチしたランダムの中央値よりも16.9--28.6パーセンテージ(すべて$p=.001$)である。 第5のベンチマークでは、信頼できる過剰(-0.9$ポイント、$p=.689$)は示されていない。 このパターンは、事前に特定されたすべての集団の摂動に生き残り、残りのアイテムファミリーシグネチャは、所有者の半身間で複製されるが、ベンチマーク間で一貫した優位性を示す家族はいない。 したがって、グローバルに安定したランキングは、ベンチマーク組成に敏感な個々の近点順序を残し、サブワンポイントのリーダーボードギャップには、インプリート順序が構成損なわれる証拠が伴うべきである。

関連論文リスト

• Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard [0.010742675209112621]
  F-ICLは、正しい帰納的推論のためのテキスト内学習ベンチマークである。 長さ15億のプログラム全てをLle13$で包含し、ベイズ最適後部を閉形式で計算する。 モデルはクエリの最大92%を正しく答えるが、46モデルのうち45モデルはキーストローク参照よりも最適な位置から分布を得る。
  論文  参考訳（メタデータ） (2026-08-03T01:21:44Z)
• Dimensionality and Measurement Precision in HLE's Multiple-Choice Subset [2.62537179009191]
  HumanityのLast Exam (HLE)はフロンティア言語モデルを評価するために広く使われている。 サブスコアが経験的に分離可能な潜在構造に対応するかどうかを評価できない。 我々は,ベンチマークの次元と測定精度の分布を評価するために心理測定手法を適用した。
  論文  参考訳（メタデータ） (2026-07-29T19:42:26Z)
• PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
  PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。 14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
  論文  参考訳（メタデータ） (2026-07-02T10:59:03Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Consistent and Distinctive: LLM Benchmark Efficiency via Maximum Independent Set Prompt Selection on Similarity Graphs [4.397020178702767]
  本稿では,大規模言語モデル(LLM)を総合ベンチマークで評価するためのグラフベースのプロンプト選択フレームワークを提案する。 6つの埋め込みモデル,3つの距離測度,6%のしきい値,および4つのベンチマーク(GPQA, IFEval, MMLU-Pro, Omni-MATH)にまたがる4つのMISソルバを評価した。
  論文  参考訳（メタデータ） (2026-05-31T18:45:12Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• The Evaluation Blind Spot: A Stereological Theory of Benchmark Coverage for Large Language Models [0.0]
  実証的に、3つの独立したリーダーボード(Open LLM v2、拡張12ベンチマークスイート、LiveBench)は、いずれも[2.86, 4.80]のd_effを持つ。 Nemhauser (1 − 1/e) 保証付き部分モジュラーグリードアルゴリズムは、4つのベンチマークの安定なコアを見つける。 12のベンチマークと27のカテゴリの反実的な検証では、固有構造がどの評価が置き換えられないかを予測している。
  論文  参考訳（メタデータ） (2026-04-15T08:56:58Z)
• Almost Asymptotically Optimal Active Clustering Through Pairwise Observations [59.20614082241528]
  そこで本研究では, ノイズと能動的に収集された応答を用いて, M$アイテムを未知数の$K$個別グループにクラスタリングするための新しい分析フレームワークを提案する。 クラスタリングの精度に対する望ましい信頼性を達成するのに必要なクエリ数の基本的下位境界を確立する。 我々は、一般化された同値比統計の計算可能な変種を開発し、その下限に対する性能ギャップを正確に推定できることを実証的に示す。
  論文  参考訳（メタデータ） (2026-02-05T14:16:47Z)
• BLITZRANK: Principled Zero-shot Ranking Agents with Tournament Graphs [14.085089126904101]
  我々は、$k$-wiseランキングの原則となる基盤を提供するトーナメントグラフフレームワークを導入する。 それぞれ$k$-item比較すると、$binomk2$の完全なトーナメントがペアワイズで表示される。 我々は、アイテムのランクが確実に決定されたときを形式化し、情報ゲインを最大化する欲求クエリスケジュールを設計する。
  論文  参考訳（メタデータ） (2026-02-05T08:41:00Z)
• What Is the Optimal Ranking Score Between Precision and Recall? We Can Always Find It and It Is Rarely $F_1$ [17.215680052668244]
  F_$誘導ランキングは有意義であり、精度とリコール誘導ランキングの間の最短経路を定義する。 我々は,任意の分布や性能に対して$$の最適値を求めるために,理論ツールとクローズドフォーム式を提供する。
  論文  参考訳（メタデータ） (2025-11-27T13:29:50Z)
• Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
  EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク 提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。 HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
  論文  参考訳（メタデータ） (2025-10-12T05:38:10Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。