論文の概要: Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models

• arxiv url: http://arxiv.org/abs/2610.18248v1
• Date: Tue, 13 Oct 2026 12:15:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:44:16.011124
• Title: Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models
• Title（参考訳）: テストは多すぎるか? 大規模言語モデルの効率的な評価のためのベンチマーク圧縮に関する調査
• Abstract要約: 多くの広く使用されているベンチマークは冗長であり、評価を必要以上に高価にする。ベンチマーク圧縮は、部分的な評価から完全なベンチマークスコアとランキングを推定することによって、このコストを下げる。 本稿では119の論文をレビューし,評価方法の選択方法,全ベンチマーク結果の回収方法,信頼性の検証方法について述べる。 我々は,ベンチマークスイート内,ベンチマークスイート内,適応評価中の圧縮をカバーした分類法を開発し,冗長性と信頼性について検討する。
• 参考スコア（独自算出の注目度）: 64.08197975922234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benchmarks are essential for evaluating and improving large language models (LLMs). Yet many widely used benchmarks are redundant, making evaluation unnecessarily expensive. Benchmark compression lowers this cost by estimating full-benchmark scores and rankings from a partial evaluation. Research in this area has grown rapidly since 2024, but to our knowledge no survey has systematically organized its methods and findings. We review 119 papers to explain how methods choose what to evaluate, recover full-benchmark results, and verify their reliability. From this analysis, we develop a taxonomy covering compression within individual benchmarks, across benchmark suites, and during adaptive evaluation, together with work on redundancy and reliability. We compare their information needs, total costs, reliability checks, and limitations. Methods reduce evaluation costs by selecting representative subsets, using cheaper or reusable information, and testing adaptively, but risk poor coverage, inaccurate estimates, and sequential delays. The resulting taxonomy and practical guide help researchers choose, validate, and deploy methods for more efficient and reliable LLM evaluation.
• Abstract（参考訳）: ベンチマークは、大規模言語モデル(LLM)の評価と改善に不可欠である。 しかし、広く使われているベンチマークの多くは冗長であり、不必要にコストがかかる。 ベンチマーク圧縮は、部分評価から全ベンチマークスコアとランキングを推定することで、このコストを下げる。 2024年以降、この分野の研究は急速に成長しているが、我々の知る限り、その方法や調査結果を体系的に整理した調査は行われていない。 本稿では119の論文をレビューし,評価方法の選択方法,全ベンチマーク結果の回収方法,信頼性の検証方法について述べる。 そこで本研究では,各ベンチマーク,ベンチマークスイート,適応評価中の圧縮を網羅する分類法を開発し,冗長性と信頼性について検討する。 私たちは、彼らの情報ニーズ、総コスト、信頼性チェック、制限を比較します。 代表的なサブセットの選択、安価な情報や再利用可能な情報の使用、適応的なテストなどによって評価コストを削減できるが、リスクの低いカバレッジ、不正確な見積、シーケンシャルな遅延がある。 結果として得られた分類学と実践的なガイドは、研究者がより効率的で信頼性の高いLSM評価のための方法を選択し、検証し、デプロイするのに役立つ。

関連論文リスト

• PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
  PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。 14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
  論文  参考訳（メタデータ） (2026-07-02T10:59:03Z)
• DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
  分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。 ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。 我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
  論文  参考訳（メタデータ） (2026-03-01T16:10:16Z)
• Fantastic Bugs and Where to Find Them in AI Benchmarks [28.604919035475188]
  本稿では, 応答パターンの統計的解析を利用して, 潜在的に無効な質問にフラグを付ける手法を提案する。 我々のアプローチは、平均スコアがモデル性能を十分に要約する、AI評価で一般的に使用されるコア仮定に基づいています。 提案手法は,9つの広く使用されているベンチマークにおいて,最大84%の精度で問題のある問題を特定するために専門家のレビューをガイドする。
  論文  参考訳（メタデータ） (2025-11-20T22:49:21Z)
• Reliable and Efficient Amortized Model-based Evaluation [57.6469531082784]
  幅広いベンチマークの平均スコアは、実際に言語モデルを使用することをガイドするシグナルを提供する。 コストを下げるための一般的な試みは、ベンチマークのサブセットの平均スコアを計算することである。 このアプローチは、平均スコアがベンチマークサブセットの質問の難しさと合わさったため、信頼性の低いLM性能をしばしば引き起こす。 我々は、その内容から質問難度を予測するモデルを訓練し、信頼性のある測定をコストのごく一部で行えるようにした。
  論文  参考訳（メタデータ） (2025-03-17T16:15:02Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  我々はこの空間を探索するために$textitadaptive$アプローチを提案する。 我々は、マルチアームの包帯に頼り、次の(メソッド、バリデーションサンプル)ペアを順次識別して評価する。 典型的資源の5～15%のみを用いて,トップパフォーマンスの手法を同定できることを示す。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Efficient Benchmarking of Language Models [22.696230279151166]
  本稿では、信頼性を損なうことなく、LM評価のコストをインテリジェントに削減する、効率的なベンチマーク問題を提案する。 HELMベンチマークをテストケースとして、異なるベンチマーク設計選択が計算-信頼性トレードオフにどのように影響するかを検討する。 本稿では,HELMベンチマークに適用した場合,ベンチマーク信頼性の低下を最小限に抑えながら,大幅なコスト削減を実現する評価アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-22T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。