論文の概要: Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand

• arxiv url: http://arxiv.org/abs/2611.00883v1
• Date: Sat, 31 Oct 2026 12:36:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.439186
• Title: Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand
• Title（参考訳）: ランダムがほぼ十分か?BestRandによる安定的で低コストのベンチマーク圧縮
• Abstract要約: ランダムサンプリングだけでは、高い確率で驚くほど強い性能が得られるが、稀な大誤差のため不安定なままである。 安定かつ低コストなベンチマーク圧縮手法であるBestRandを導入する。 競合手法と比較して、BestRandは高いエラーリスクを50.2%削減し、平均で16.4%削減し、建設コストの51.3%しか必要としない。
• 参考スコア（独自算出の注目度）: 24.371084790952068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benchmark compression reduces the often prohibitive time and cost of model evaluation by evaluating models on a small benchmark subset that closely matches full-benchmark results. To quantify estimation error, we derive an accurate analytical approximation to the error distribution when estimating full-benchmark scores from a subset, showing that most subsets yield small errors, while a few produce much larger errors, resulting in a long-tailed distribution. This means random sampling alone can achieve surprisingly strong performance with high probability, but remains unstable due to rare large errors. We further show that this instability is inherent to modern foundation models and persists even as more models are evaluated. Based on these findings, we introduce BestRand, a stable and low-cost benchmark compression method that preserves the efficiency of random sampling while substantially reducing its high-error tail. We validate BestRand on 70+ text, multimodal, and agent benchmarks, and further extend it to VLA evaluation. Compared with competitive methods, BestRand reduces high-error risk by 50.2% and estimation error by 16.4% on average, while requiring only 51.3% of the construction cost. It further reduces OOD estimation error by 21.8% on average across score-range, model-family, and temporal shifts. Together, our theory provides practical guidance for understanding and predicting the accuracy and reliability of benchmark compression, while BestRand enables stable and accurate compression at low cost. The code and data are publicly available onhttps://github.com/George-Ling3/BestRand.
• Abstract（参考訳）: ベンチマーク圧縮は、フルベンチマーク結果と密に一致した小さなベンチマークサブセット上でモデルを評価することで、しばしば禁止されるモデル評価の時間とコストを削減する。 推定誤差を定量化するために,部分集合から全ベンチマークスコアを推定する際の誤差分布に対する正確な解析近似を導出する。 これは、ランダムサンプリングだけで高い確率で驚くほど強い性能を達成できることを意味するが、稀な大きなエラーのため不安定なままである。 さらに、この不安定性は現代の基礎モデルに固有のものであり、より多くのモデルが評価されたとしても持続することを示す。 これらの結果に基づいて,ランダムサンプリングの効率を保ちつつ,高い誤差の尾を著しく低減する,安定かつ低コストなベンチマーク圧縮手法であるBestRandを導入する。 我々はBestRandを70以上のテキスト、マルチモーダル、エージェントベンチマークで検証し、さらにVLA評価にまで拡張する。 競合手法と比較して、BestRandは高いエラーリスクを50.2%削減し、平均で16.4%削減し、建設コストの51.3%しか必要としない。 さらに、OOD推定誤差はスコアレンジ、モデルファミリー、時間シフトの平均で21.8%減少する。 本理論は,ベンチマーク圧縮の精度と信頼性の理解と予測のための実用的なガイダンスを提供するとともに,BestRandは低コストで安定かつ高精度な圧縮を可能にする。 コードとデータはhttps://github.com/George-Ling3/BestRand.comで公開されている。

関連論文リスト

• Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models [64.08197975922234]
  多くの広く使用されているベンチマークは冗長であり、評価を必要以上に高価にする。ベンチマーク圧縮は、部分的な評価から完全なベンチマークスコアとランキングを推定することによって、このコストを下げる。 本稿では119の論文をレビューし,評価方法の選択方法,全ベンチマーク結果の回収方法,信頼性の検証方法について述べる。 我々は,ベンチマークスイート内,ベンチマークスイート内,適応評価中の圧縮をカバーした分類法を開発し,冗長性と信頼性について検討する。
  論文  参考訳（メタデータ） (2026-10-13T12:15:07Z)
• Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
  異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。 5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-01-31T13:11:39Z)
• Statistical Estimation of Adversarial Risk in Large Language Models under Best-of-N Sampling [50.872910438715486]
  大規模言語モデル(LLM)は、通常、単一ショットまたは低予算の逆のプロンプトの下で安全性を評価する。 我々は,Best-of-Nサンプリングの下でのジェイルブレイク脆弱性をモデル化するための,スケーリング対応のリスク推定手法であるSABERを提案する。
  論文  参考訳（メタデータ） (2026-01-30T06:54:35Z)
• Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
  EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク 提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。 HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
  論文  参考訳（メタデータ） (2025-10-12T05:38:10Z)
• Signal and Noise: A Framework for Reducing Uncertainty in Language Model Evaluation [103.66549325018741]
  現在のベンチマークの違いを示す2つの重要な指標を紹介します。 より優れた信号対雑音比を持つベンチマークは、小規模で意思決定を行う場合、より信頼性が高いことを示す。 結論は、新しいベンチマークを作成する人や、どの既存のベンチマークを使うかを選択する人は、高い信号と低いノイズを目標にすることを推奨する。
  論文  参考訳（メタデータ） (2025-08-18T17:56:04Z)
• How Benchmark Prediction from Fewer Data Misses the Mark [18.693874781163657]
  ベンチマーク予測は、評価ポイントの小さなサブセットを選択し、そのサブセットからベンチマーク全体のパフォーマンスを予測することを目的としている。 本論文では,19種類のベンチマークにおいて,11種類のベンチマーク予測手法の長所と短所を体系的に評価する。
  論文  参考訳（メタデータ） (2025-06-09T11:50:41Z)
• Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
  微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。 トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T13:13:39Z)
• Reducing Variance in Temporal-Difference Value Estimation via Ensemble of Deep Networks [109.59988683444986]
  MeanQは単純なアンサンブル法であり、ターゲット値をアンサンブル平均として推定する。 本稿では,Atari Learning Environmentベンチマークを用いた実験において,MeanQが顕著なサンプル効率を示すことを示す。
  論文  参考訳（メタデータ） (2022-09-16T01:47:36Z)
• RIFLE: Imputation and Robust Inference from Low Order Marginals [10.082738539201804]
  我々は,不備なデータの存在下での回帰と分類のための統計的推論フレームワークを開発する。 我々のフレームワークであるRIFLEは、基礎となるデータ分布の低次モーメントを対応する信頼区間で推定し、分布的に堅牢なモデルを学ぶ。 実験の結果,RIFLEは,欠落値の割合が高い場合や,データポイント数が比較的小さい場合には,他のベンチマークアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-01T23:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。