論文の概要: You Don't Need to Run Every Eval

• arxiv url: http://arxiv.org/abs/2606.24020v1
• Date: Mon, 22 Jun 2026 23:54:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.713711
• Title: You Don't Need to Run Every Eval
• Title（参考訳）: あらゆるEvalを走らなくてもよい
• Authors: Yuchen Zeng, Dimitris Papailiopoulos,
• Abstract要約: 全133ベンチマークのモデルスコアは、2つの数字で決定される。 スコアマトリックス、BenchPressコード、任意のベンチマークで任意のモデルのスコアを予測するインタラクティブツールをリリースします。
• 参考スコア（独自算出の注目度）: 14.183605234187624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A modern model release reports scores on 40+ benchmarks and the same evaluations were run many more times before it: to track training progress, compare design choices, and select the checkpoint for the release. But do we need to run every eval? We compile a public score matrix of 84 frontier models on 133 benchmarks (2,604 cells, 23.3% filled) and find it is approximately rank-2: a model's scores across all 133 benchmarks are largely determined by just two numbers. We confirm this in two ways: scores hidden from the matrix are best recovered using two factors, and two factors already explain over 90% of the variation among models on the benchmarks they share. Building on this, we design BenchPress: a logit-space rank-2 matrix completion method that recovers held-out scores to within 4.6 points, and a confidence layer that says when each prediction can be trusted. Using BenchPress, we find a subset of five benchmarks {GPQA-D, HLE, Codeforces, MMLU-Pro, ARC-AGI-1} that can recover the rest of a model's public scorecard to within 3.93 points. For a tighter inference budget, a cheaper set {GPQA-D, MMLU-Pro, Aider Polyglot, MATH-500, AIME 2026} can predict a model's evals to within 4.55. We release the score matrix, the BenchPress code, and an interactive tool that predicts any model's score on any benchmark.
• Abstract（参考訳）: 最新のモデルリリースでは、40以上のベンチマークでスコアが報告され、同じ評価が、トレーニングの進捗を追跡し、設計選択を比較し、リリースのチェックポイントを選択するという、何回も前に実行された。 しかし、すべてのevalを実行する必要がありますか? 133ベンチマークで84のフロンティアモデル(2,604セル、23.3%の充填)の公開スコア行列をコンパイルし、およそランク2であることが判明した。 行列から隠れたスコアは2つの要因で最もよく回収され、2つの要因がすでに共有されているベンチマークのモデルの90%以上について説明されています。 そこで我々はBenchPressを設計し,保持スコアを4.6ポイント以内まで回復するロジット空間ランク2行列補完法と,各予測を信頼できる信頼層を設計した。 BenchPressを使用して、モデルの公開スコアカードの残りを3.93ポイント以内まで回復できる5つのベンチマーク(GPQA-D, HLE, Codeforces, MMLU-Pro, ARC-AGI-1})のサブセットを見つける。 より厳密な推論予算のために、より安価なセット {GPQA-D, MMLU-Pro, Aider Polyglot, MATH-500, AIME 2026} はモデルの方程式を4.55の範囲で予測することができる。 スコアマトリックス、BenchPressコード、任意のベンチマークで任意のモデルのスコアを予測するインタラクティブツールをリリースします。

関連論文リスト

• FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
  MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。 GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
  論文  参考訳（メタデータ） (2026-05-27T18:59:18Z)
• How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
  昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。 HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
  論文  参考訳（メタデータ） (2026-05-08T09:30:31Z)
• vla-eval: A Unified Evaluation Harness for Vision-Language-Action Models [58.633451339058986]
  VLAモデルは一般的に、各モデルリポジトリによって独立して維持されるベンチマークスクリプト毎に評価される。 本稿では、ベンチマーク実行からモデル推論を分離するオープンソースの評価ハーネスであるvla evalを紹介する。 完全な評価では、vla eval serveとvla eval runの2つのコマンドしか必要としない。
  論文  参考訳（メタデータ） (2026-03-14T14:38:53Z)
• QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs [29.26861081722613]
  我々は, 標準の「LLM-as-a-Judge」プロトコルが, 上学部から初期大学院レベルの数学に適用された場合, 体系的なアライメントギャップに悩まされることを実証した。 QEDBenchは、大学レベルの数学における人間の専門家とのアライメントを測定するための、最初の大規模デュアルルーブリックアライメントベンチマークである。 我々は,Claude Opus 4.5,DeepSeek-V3,Qwen 2.5 Max,Llama 4 Maverickなどのフロンティア評価が有意な正のバイアスを示すことを明らかにした。
  論文  参考訳（メタデータ） (2026-02-24T07:23:28Z)
• A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
  35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。 85.7%は単一のプログラミング言語に重点を置いている。 94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。 80%以上は平均10件未満のテストケースを含む。
  論文  参考訳（メタデータ） (2025-09-30T11:30:08Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Preference Optimization for Reasoning with Pseudo Feedback [100.62603571434167]
  提案手法では,解のラベル付けを関連するテストケースに対する評価として行うことで,推論タスクに対する疑似フィードバックを生成する手法を提案する。 本研究では,擬似フィードバックを優先最適化に用いる数学的推論と符号化の両タスクについて実験を行い,両タスク間の改善を観察する。
  論文  参考訳（メタデータ） (2024-11-25T12:44:02Z)
• metabench -- A Sparse Benchmark of Reasoning and Knowledge in Large Language Models [5.972993094932516]
  大きな言語モデル(LLM)は、様々なタスクでその能力が異なる。 これらのベンチマークを測る共通基盤能力の小さなセットがあることが示される。 スパースベンチマークであるメタベンチを蒸留し、これらは6つのベンチマークの原サイズの3%以下である。
  論文  参考訳（メタデータ） (2024-07-04T17:57:38Z)
• CRUXEval: A Benchmark for Code Reasoning, Understanding and Execution [36.30158138035512]
  800のPython関数(3-13行)からなるベンチマークを示す。 各関数は入力出力対を持ち、入力予測と出力予測という2つの自然なタスクに繋がる。 単純なCoTと微調整方式によってベンチマークのパフォーマンスが向上するが、その解決には程遠いことを示す。
  論文  参考訳（メタデータ） (2024-01-05T20:53:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。