論文の概要: The Capability Frontier: Benchmarks Miss 82% of Model Performance
- arxiv url: http://arxiv.org/abs/2606.26836v1
- Date: Thu, 25 Jun 2026 10:20:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.233823
- Title: The Capability Frontier: Benchmarks Miss 82% of Model Performance
- Title（参考訳）: 能力のフロンティア:ベンチマークではモデルパフォーマンスの82%を欠いている
- Abstract要約: 既存のベンチマークでは、1回のランで1つのモデルの精度が報告されるのが一般的である。
これにより、実世界のLLM能力、特に異種データ分布を体系的に下降させる。
- 参考スコア（独自算出の注目度）: 7.258179693117413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing benchmarks typically report accuracy for a single model on a single run. This systematically understates real-world LLM capabilities, particularly under heterogeneous data distributions: (i) different models get different questions correct according to their specializations, and (ii) given a budget, multiple generations can be sampled and selectively retained. To quantify this gap, we introduce the Capability Frontier: a Pareto frontier over a set of models that characterizes the best achievable performance at each cost level under optimal selection across models and generations (i.e., via an oracle). Our construction corrects for two opposing biases: underestimation from single-model evaluation and overestimation from taking maxima over noisy samples. We study 21 LLMs across 16 widely used benchmarks spanning coding, reasoning, medicine, factuality, instruction following, and agentic tasks, comparing Capability Frontier performance at matched cost to each benchmark's top-performing model. Correcting for single-model evaluation yields a 54% error rate reduction; additionally correcting for single runs yields an 82% improvement, with SOTA accuracy matched at 85% cost reduction. Complementing these empirical results, we use controlled probabilistic simulations to show that higher query topic entropy produces a near-monotonic increase in the performance gap between oracle routing and the best single model. Our findings suggest collective LLM capabilities are substantially underestimated, with implications for evaluation and deployment in data-heterogeneous, multi-domain settings.
- Abstract（参考訳）: 既存のベンチマークでは、1回の実行で1つのモデルの精度が報告されるのが一般的である。
これは、実世界のLLM能力、特に異種データ分布を体系的に下記します。
(i)異なるモデルは、それぞれの特化に応じて異なる質問を正し、
(二)予算により、複数の世代をサンプリングし、選択的に保持することができる。
このギャップを定量化するために、各コストレベルで最高の達成可能なパフォーマンスを特徴付ける一連のモデル(すなわち、オラクルを介して)に対するパレートフロンティアを紹介します。
単一モデル評価からの過小評価と,ノイズのあるサンプルに対する最大値の過大評価の2つの対立バイアスを補正した。
我々は、コーディング、推論、医学、事実性、命令追従、エージェントタスクにまたがる16のベンチマークで21のLSMを調査し、各ベンチマークの最高性能モデルと比較した。
単モデル評価の補正は54%の誤差率の低下をもたらし、さらに単実行の補正は82%の改善となり、SOTAの精度は85%のコスト削減と一致した。
これらの実験結果を補完し、制御された確率論的シミュレーションを用いて、より高いクエリトピックエントロピーが、オラクルルーティングと最高の単一モデルの間のパフォーマンスギャップをほぼ単調に増加させることを示す。
本研究は,データ・ヘテロジニアス・マルチドメイン・セッティングにおけるLCM機能の評価と展開に影響を及ぼすとともに,LLMの能力が著しく過小評価されていることを示唆する。
関連論文リスト
- Valid Best-Model Identification for LLM Evaluation via Low-Rank Factorization [17.34147279018477]
統計的妥当性を損なうことなく,MABと安価な予測スコアを組み合わせた原理的枠組みを提案する。
分散を低減するために低ランク予測を用いた各モデルの性能の2倍頑健な推定器を導出する。
実世界のベンチマークによる実証的な結果から,本手法は必要な評価回数を削減し,計算とコストに有意義な節約をもたらすことが示された。
論文 参考訳（メタデータ） (2026-05-11T11:43:28Z) - CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。
この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
論文 参考訳（メタデータ） (2026-03-09T07:15:23Z) - Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。
モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。
多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
論文 参考訳（メタデータ） (2025-05-26T16:05:10Z) - Causal LLM Routing: End-to-End Regret Minimization from Observational Data [3.3580884064577616]
LLMルーティングは、クエリ毎に最も適切なモデルを選択することを目的としている。
従来のアプローチでは、メトリクスを最初に予測し、モデルがこれらの見積に基づいて選択される、分離された戦略が一般的だった。
観測データから意思決定の後悔を最小化してルーティングポリシーを学習する因果的エンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-21T21:34:18Z) - Evaluating Binary Decision Biases in Large Language Models: Implications for Fair Agent-Based Financial Simulations [15.379345372327375]
エージェントベースの金融市場モデルにおいて、人間のような意思決定をシミュレートするために、LLM(Large Language Models)がますます使われている。
我々は,2つのモデルサンプリングアプローチ(ワンショットと少数ショットのAPIクエリ)を用いて,最先端のGPTモデル3つをバイアスとして検証する。
論文 参考訳（メタデータ） (2025-01-20T10:36:51Z) - Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。
これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
論文 参考訳（メタデータ） (2024-12-09T13:05:43Z) - MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。
本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文 参考訳（メタデータ） (2024-10-12T07:02:33Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - Newer is not always better: Rethinking transferability metrics, their
peculiarities, stability and performance [5.650647159993238]
小さなカスタマイズされたデータセット上で、大規模で事前訓練された画像と言語モデルの微調整が人気を集めている。
共分散推定における統計的問題により,Hスコアの性能が低下することが示唆された。
そこで我々は,そのような設定における相対的精度に対する相関性能を補正し,評価することを推奨する。
論文 参考訳（メタデータ） (2021-10-13T17:24:12Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳（メタデータ） (2021-10-07T11:58:35Z) - Residual Energy-Based Models for End-to-End Speech Recognition [26.852537542649866]
自己回帰型ASRモデルを補完するために残留エネルギーベースモデル(R-EBM)を提案する。
100hr LibriSpeechデータセットの実験では、R-EBMはワードエラー率(WER)を8.2%/6.7%削減できる。
自己教師付き学習(wav2vec 2.0)を用いた最先端モデルでは、R-EBMはWERと信頼性推定性能の両方を大幅に改善する。
論文 参考訳（メタデータ） (2021-03-25T22:08:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。