論文の概要: Why Global LLM Leaderboards Are Misleading: Small Portfolios for Heterogeneous Supervised ML

• arxiv url: http://arxiv.org/abs/2605.06656v1
• Date: Thu, 07 May 2026 17:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:12.072888
• Title: Why Global LLM Leaderboards Are Misleading: Small Portfolios for Heterogeneous Supervised ML
• Title（参考訳）: 世界的LLMリーダーボードはなぜ誤解されるのか:不均一に監督されたMLのための小さなポートフォリオ
• Abstract要約: アリーナの52のLLMから116の言語で89Kの比較を行った。 決定的な投票の2/3近くはキャンセルされ、世界のブラッドリー・テリーランキングで上位50モデルでさえ統計的に区別できない。 例えば$(, )$-portfoliosというフレームワークを紹介します。これは予測エラーを最大$$, "covering" で達成するモデルの小さなセットです。
• 参考スコア（独自算出の注目度）: 1.373282478189168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ranking LLMs via pairwise human feedback underpins current leaderboards for open-ended tasks, such as creative writing and problem-solving. We analyze ~89K comparisons in 116 languages from 52 LLMs from Arena, and show that the best-fit global Bradley-Terry (BT) ranking is misleading. Nearly 2/3 of the decisive votes cancel out, and even the top 50 models according to the global BT ranking are statistically indistinguishable (pairwise win probabilities are at most 0.53 within the top 50 models). We trace this failure to strong, structured heterogeneity of opinions across language, task, and time. Moreover, we find an important characteristic - *language* plays a key role. Grouping by language (and families) increases the agreement of votes massively, resulting in two orders of magnitude higher spread in the ELO scores (i.e., very consistent rankings). What appears as global noise is in fact a mixture of coherent but conflicting subpopulations. To address such heterogeneity in supervised machine learning, we introduce the framework of $(λ, ν)$-portfolios, which are small sets of models that achieve a prediction error at most $λ$, "covering" at least a $ν$ fraction of users. We formulate this as a variant of the set cover problem and provide guarantees using the VC dimension of the underlying set system. On the Arena data, our algorithms recover just 5 distinct BT rankings that cover over 96% of votes at a modest $λ$, compared to the 21% coverage by the global ranking. We also provide a portfolio of 6 LLMs that cover twice as many votes as the top-6 LLMs from a global ranking. We further construct portfolios for a classification problem on the COMPAS dataset using an ensemble of fairness-regularized classification models and show that these portfolios can be used to detect blind spots in the data, which might be of independent interest to policymakers.
• Abstract（参考訳）: ペアワイズなヒューマンフィードバックによるLLMのランク付けは、クリエイティブな記述や問題解決といったオープンなタスクのための現在のリーダボードを支えるものだ。 アリーナの52のLLMから116の言語で約89Kの比較を行い、最も適したグローバルなBradley-Terry(BT)ランキングが誤解を招くことを示した。 決定的な投票の2/3近くは取り消され、世界のBTランキングによる上位50モデルでさえ統計的に区別がつかない(ただし、勝者確率は上位50モデルの中で少なくとも0.53である)。 私たちはこの失敗を、言語、タスク、時間にまたがる、強く構造化された異質な意見に辿り着きます。 さらに、私たちは重要な特徴を見つけます。 言語(および家族)によるグループ化は、投票の合意を大幅に増加させ、その結果、ELOスコア(すなわち非常に一貫したランキング)の2桁の順位が拡大する。 グローバルノイズのように見えるものは、実際にはコヒーレントだが、サブポピュレーションの相反する混合である。 教師あり機械学習におけるそのような不均一性に対処するために、少なくとも$ν$のユーザ数で予測誤差を最大$λ$で達成するモデルの小さなセットである$(λ, ν)$-portfoliosのフレームワークを導入する。 これを集合被覆問題の変種として定式化し、基礎となる集合系のVC次元を用いて保証する。 アリーナのデータでは、我々のアルゴリズムは、世界のランキングによる21%のカバレッジに比べて、わずかに$λ$で投票の96%以上をカバーしているBTランキングを5つしか回収していない。 また、世界ランキングの上位6 LLMの2倍の票をカバーした6 LLMのポートフォリオも提供しています。 我々はさらに、公正規則化された分類モデルの集合を用いて、CompASデータセット上の分類問題のためのポートフォリオを構築し、これらのポートフォリオが、政策立案者にとって独立した関心を持つであろうデータの盲点を検出するために使用できることを示す。

関連論文リスト

• Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards [0.0]
  評価ベンチマークはアノテータの採用によって構築され、それらのアノテータの同一性は実装の詳細として扱われる。 2,885件のMultiPrefアイテムには、両方のプールが全会一致で配置されているため、ネクタイ破りのコンベンションは一切ない。 しかし、両方のコーパスでは、結果のモデルリーダーボードはビット識別される: Kendall tau = 1.00 で、6つのモデルのうちゼロが置き換えられる。
  論文  参考訳（メタデータ） (2026-08-17T00:19:52Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• LRanker: LLM Ranker for Massive Candidates [32.698478901429375]
  大規模候補ランキングに適したフレームワークであるLRankerを提案する。 LRankerはK平均クラスタリングを利用してグローバルな候補情報を明示的にモデル化するアグリゲーションエンコーダを組み込んでいる。 我々はRBenchの3つのシナリオにまたがる7つのタスクにおけるLRankerの評価を行った。
  論文  参考訳（メタデータ） (2026-05-27T01:04:36Z)
• Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
  アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。 LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か? 277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
  論文  参考訳（メタデータ） (2026-04-15T14:10:58Z)
• Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment [75.88231994139132]
  GPT-4.1のような最先端モデルでさえ、モーダル選好を予測する精度は57.4%に過ぎなかった。 モデルでは、若者、男性、中国人、キリスト教のペルソナをよりうまくエミュレートする。
  論文  参考訳（メタデータ） (2026-04-14T15:06:13Z)
• BLITZRANK: Principled Zero-shot Ranking Agents with Tournament Graphs [14.085089126904101]
  我々は、$k$-wiseランキングの原則となる基盤を提供するトーナメントグラフフレームワークを導入する。 それぞれ$k$-item比較すると、$binomk2$の完全なトーナメントがペアワイズで表示される。 我々は、アイテムのランクが確実に決定されたときを形式化し、情報ゲインを最大化する欲求クエリスケジュールを設計する。
  論文  参考訳（メタデータ） (2026-02-05T08:41:00Z)
• Evaluating the Promise and Pitfalls of LLMs in Hiring Decisions [1.1883838320818292]
  大規模言語モデル(LLM)は、候補スクリーニングの合理化を約束するが、精度とアルゴリズムバイアスに関する深刻な懸念も引き起こす。 いくつかの最先端の基盤的LCMをベンチマークし、ジョブ候補マッチングのためのドメイン固有の採用モデル(Match Score)と比較する。 実験の結果,Match Score は汎用 LLM よりも精度(ROC AUC 0.85 対 0.77 )が優れており,人口集団間でより公平な結果が得られた。
  論文  参考訳（メタデータ） (2025-07-02T19:02:18Z)
• GLIDER: Grading LLM Interactions and Decisions using Explainable Ranking [0.9614204956530676]
  我々は,任意のユーザ定義基準に基づいて任意のテキスト入力および関連するコンテキストをスコアできる,強力な3B評価用LLMであるGLIDERを紹介する。 GLIDERは、FLASK上のGPT-4oよりもピアソンの相関が高く、事前評価モデルよりも大幅に優れていた。 きめ細かいスコア付け、多言語推論、強調表示をサポートし、685のドメインと183の基準でトレーニングされた。
  論文  参考訳（メタデータ） (2024-12-18T18:41:12Z)
• Confidence Diagram of Nonparametric Ranking for Uncertainty Assessment in Large Language Models Evaluation [20.022623972491733]
  大きな言語モデル(LLM)のランク付けは、$N$のポリシーに基づいてアライメントを改善する効果的なツールであることが証明されている。 本稿では,言語モデルのランキングの中から仮説テストのための新しい推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-07T02:34:30Z)
• Toward Automatic Relevance Judgment using Vision--Language Models for Image--Text Retrieval Evaluation [56.49084589053732]
  VLM(Vision-Language Models)は、様々なアプリケーションで成功を収めてきたが、関連性判断を支援する可能性はまだ不明である。 本稿では,CLIP,LLaVA,GPT-4Vを含むVLMの関連性評価機能について,ゼロショット方式でマルチメディアコンテンツ作成に適した大規模テキスト分割ホック検索タスクで評価する。
  論文  参考訳（メタデータ） (2024-08-02T16:15:25Z)
• Paraphrase and Aggregate with Large Language Models for Minimizing Intent Classification Errors [19.601600598570215]
  大規模言語モデル(LLM)は,大規模な多クラス分類タスクにおいて高い性能を達成できるが,いまだに分類誤りを発生させ,さらに悪化させ,語彙外なクラスラベルを生成する。 本稿では、LLMが入力クエリ(並列クエリ)の複数のパラフレーズを生成するParaphrase and AGgregate (PAG)-LLMアプローチを提案する。 PAG-LLM は LLM が不確実なハードケースでは特に有効であり, 致命的誤分類と幻覚的ラベル生成誤差を低減させる。
  論文  参考訳（メタデータ） (2024-06-24T22:30:26Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [53.78782375511531]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。