論文の概要: Why Global LLM Leaderboards Are Misleading: Small Portfolios for Heterogeneous Supervised ML

• arxiv url: http://arxiv.org/abs/2605.06656v1
• Date: Thu, 07 May 2026 17:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:12.072888
• Title: Why Global LLM Leaderboards Are Misleading: Small Portfolios for Heterogeneous Supervised ML
• Title（参考訳）: 世界的LLMリーダーボードはなぜ誤解されるのか:不均一に監督されたMLのための小さなポートフォリオ
• Authors: Jai Moondra, Ayela Chughtai, Bhargavi Lanka, Swati Gupta,
• Abstract要約: アリーナの52のLLMから116の言語で89Kの比較を行った。 決定的な投票の2/3近くはキャンセルされ、世界のブラッドリー・テリーランキングで上位50モデルでさえ統計的に区別できない。 例えば$(, )$-portfoliosというフレームワークを紹介します。これは予測エラーを最大$$, "covering" で達成するモデルの小さなセットです。
• 参考スコア（独自算出の注目度）: 1.373282478189168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ranking LLMs via pairwise human feedback underpins current leaderboards for open-ended tasks, such as creative writing and problem-solving. We analyze ~89K comparisons in 116 languages from 52 LLMs from Arena, and show that the best-fit global Bradley-Terry (BT) ranking is misleading. Nearly 2/3 of the decisive votes cancel out, and even the top 50 models according to the global BT ranking are statistically indistinguishable (pairwise win probabilities are at most 0.53 within the top 50 models). We trace this failure to strong, structured heterogeneity of opinions across language, task, and time. Moreover, we find an important characteristic - *language* plays a key role. Grouping by language (and families) increases the agreement of votes massively, resulting in two orders of magnitude higher spread in the ELO scores (i.e., very consistent rankings). What appears as global noise is in fact a mixture of coherent but conflicting subpopulations. To address such heterogeneity in supervised machine learning, we introduce the framework of $(λ, ν)$-portfolios, which are small sets of models that achieve a prediction error at most $λ$, "covering" at least a $ν$ fraction of users. We formulate this as a variant of the set cover problem and provide guarantees using the VC dimension of the underlying set system. On the Arena data, our algorithms recover just 5 distinct BT rankings that cover over 96% of votes at a modest $λ$, compared to the 21% coverage by the global ranking. We also provide a portfolio of 6 LLMs that cover twice as many votes as the top-6 LLMs from a global ranking. We further construct portfolios for a classification problem on the COMPAS dataset using an ensemble of fairness-regularized classification models and show that these portfolios can be used to detect blind spots in the data, which might be of independent interest to policymakers.
• Abstract（参考訳）: ペアワイズなヒューマンフィードバックによるLLMのランク付けは、クリエイティブな記述や問題解決といったオープンなタスクのための現在のリーダボードを支えるものだ。 アリーナの52のLLMから116の言語で約89Kの比較を行い、最も適したグローバルなBradley-Terry(BT)ランキングが誤解を招くことを示した。 決定的な投票の2/3近くは取り消され、世界のBTランキングによる上位50モデルでさえ統計的に区別がつかない(ただし、勝者確率は上位50モデルの中で少なくとも0.53である)。 私たちはこの失敗を、言語、タスク、時間にまたがる、強く構造化された異質な意見に辿り着きます。 さらに、私たちは重要な特徴を見つけます。 言語(および家族)によるグループ化は、投票の合意を大幅に増加させ、その結果、ELOスコア(すなわち非常に一貫したランキング)の2桁の順位が拡大する。 グローバルノイズのように見えるものは、実際にはコヒーレントだが、サブポピュレーションの相反する混合である。 教師あり機械学習におけるそのような不均一性に対処するために、少なくとも$ν$のユーザ数で予測誤差を最大$λ$で達成するモデルの小さなセットである$(λ, ν)$-portfoliosのフレームワークを導入する。 これを集合被覆問題の変種として定式化し、基礎となる集合系のVC次元を用いて保証する。 アリーナのデータでは、我々のアルゴリズムは、世界のランキングによる21%のカバレッジに比べて、わずかに$λ$で投票の96%以上をカバーしているBTランキングを5つしか回収していない。 また、世界ランキングの上位6 LLMの2倍の票をカバーした6 LLMのポートフォリオも提供しています。 我々はさらに、公正規則化された分類モデルの集合を用いて、CompASデータセット上の分類問題のためのポートフォリオを構築し、これらのポートフォリオが、政策立案者にとって独立した関心を持つであろうデータの盲点を検出するために使用できることを示す。

関連論文リスト

• Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
  アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。 LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か? 277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
  論文  参考訳（メタデータ） (2026-04-15T14:10:58Z)
• BLITZRANK: Principled Zero-shot Ranking Agents with Tournament Graphs [14.085089126904101]
  我々は、$k$-wiseランキングの原則となる基盤を提供するトーナメントグラフフレームワークを導入する。 それぞれ$k$-item比較すると、$binomk2$の完全なトーナメントがペアワイズで表示される。 我々は、アイテムのランクが確実に決定されたときを形式化し、情報ゲインを最大化する欲求クエリスケジュールを設計する。
  論文  参考訳（メタデータ） (2026-02-05T08:41:00Z)
• Evaluating the Promise and Pitfalls of LLMs in Hiring Decisions [1.1883838320818292]
  大規模言語モデル(LLM)は、候補スクリーニングの合理化を約束するが、精度とアルゴリズムバイアスに関する深刻な懸念も引き起こす。 いくつかの最先端の基盤的LCMをベンチマークし、ジョブ候補マッチングのためのドメイン固有の採用モデル(Match Score)と比較する。 実験の結果,Match Score は汎用 LLM よりも精度(ROC AUC 0.85 対 0.77 )が優れており,人口集団間でより公平な結果が得られた。
  論文  参考訳（メタデータ） (2025-07-02T19:02:18Z)
• Confidence Diagram of Nonparametric Ranking for Uncertainty Assessment in Large Language Models Evaluation [20.022623972491733]
  大きな言語モデル(LLM)のランク付けは、$N$のポリシーに基づいてアライメントを改善する効果的なツールであることが証明されている。 本稿では,言語モデルのランキングの中から仮説テストのための新しい推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-07T02:34:30Z)
• Toward Automatic Relevance Judgment using Vision--Language Models for Image--Text Retrieval Evaluation [56.49084589053732]
  VLM(Vision-Language Models)は、様々なアプリケーションで成功を収めてきたが、関連性判断を支援する可能性はまだ不明である。 本稿では,CLIP,LLaVA,GPT-4Vを含むVLMの関連性評価機能について,ゼロショット方式でマルチメディアコンテンツ作成に適した大規模テキスト分割ホック検索タスクで評価する。
  論文  参考訳（メタデータ） (2024-08-02T16:15:25Z)
• Paraphrase and Aggregate with Large Language Models for Minimizing Intent Classification Errors [19.601600598570215]
  大規模言語モデル(LLM)は,大規模な多クラス分類タスクにおいて高い性能を達成できるが,いまだに分類誤りを発生させ,さらに悪化させ,語彙外なクラスラベルを生成する。 本稿では、LLMが入力クエリ(並列クエリ)の複数のパラフレーズを生成するParaphrase and AGgregate (PAG)-LLMアプローチを提案する。 PAG-LLM は LLM が不確実なハードケースでは特に有効であり, 致命的誤分類と幻覚的ラベル生成誤差を低減させる。
  論文  参考訳（メタデータ） (2024-06-24T22:30:26Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。