論文の概要: Coresets Before Score Sets: Evaluation-Unsupervised Prompt Subset Selection for LLM Benchmarks
- arxiv url: http://arxiv.org/abs/2607.09739v1
- Date: Thu, 02 Jul 2026 18:37:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-19 21:54:20.392346
- Title: Coresets Before Score Sets: Evaluation-Unsupervised Prompt Subset Selection for LLM Benchmarks
- Title（参考訳）: スコアセット前のコアセット: LLMベンチマークのための評価教師なしプロンプトサブセット選択
- Abstract要約: 評価教師なしベンチマークコアセット選択では、選択アルゴリズムはモデル評価結果を使用しない。
この目的のために,決定点プロセス(DPP)に基づくアプローチを含む,様々なサブモジュール関数を開発し,評価する。
提案する目的は評価アントラスト制度に限らず,少数のベンチマークのみを選択しなければならない状況では,同じ目標が一致したり,最先端のベースラインを上回ります。
- 参考スコア（独自算出の注目度）: 31.891185002244146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study LLM benchmark coreset selection: selecting a small subset of prompts over multiple benchmarks whose induced model scores and rankings approximate those obtained from the full benchmark suite. In evaluation-unsupervised benchmark coreset selection (our approach), the selection algorithm uses no model evaluation outcomes, and operates on a fine granularity by producing subsets of prompts over multiple benchmarks rather than producing a sub-collection of entire benchmarks. We use submodular subset selection, and we develop and evaluate many different submodular functions for this purpose, including determinantal point process (DPP) based approaches, submodular mutual information functions, and facility location-based functions. On a new large-scale suite of 35 heterogeneous benchmarks spanning five different capability categories, 18 frontier LLMs, and over 61K prompts, we find that the facility location (FL) function operating exclusively on inexpensive semantic prompt embeddings preserves LLM scores better than twelve separate score-based and diversity-based baselines, across a range of coreset budgets. Moreover, we show our proposed objective is not limited to the evaluation-unsupervised regime: in the setting where only a handful of whole benchmarks must be selected and a large amount of model scores are available, the same objective matches or outperforms state-of-the-art baselines on the MMLU and MTEB leaderboards, while being substantially cheaper to compute. Together, our results suggest that submodularity, in general, is a strong and reliable tool for benchmark compression.
- Abstract（参考訳）: LLMベンチマークコアセットの選択について検討し、モデルスコアとランキングがベンチマークスイート全体から得られるものに近い複数のベンチマークに対して、プロンプトの小さなサブセットを選択する。
評価教師なしベンチマークコアセット選択(我々のアプローチ)では、選択アルゴリズムはモデル評価結果を使用しず、ベンチマーク全体のサブコレクションを生成するのではなく、複数のベンチマーク上でプロンプトのサブセットを生成することによって、きめ細かい粒度で動作する。
我々は, 部分モジュラ部分集合選択を用いて, 決定点プロセス(DPP)に基づくアプローチ, 部分モジュラ相互情報関数, 施設位置に基づく機能など, この目的のために様々な部分モジュラ関数を開発し, 評価する。
5種類の機能カテゴリ,18個のフロンティアLCM,61Kプロンプトにまたがる35種類の大規模不均一なベンチマークスイートにおいて,安価なセマンティックプロンプト埋め込みのみで動作する施設位置(FL)関数が,コアセット予算の範囲を越えて,12個のスコアベースおよび多様性ベースのベースラインよりも優れたスコアを保存できることが判明した。
さらに,提案手法は,少数のベンチマークが選択され,多数のモデルスコアが利用可能である場合,MMLUとMTEBのリーダーボード上での最先端のベースラインに適合あるいは優れるが,計算コストは極めて低い。
この結果から,部分モジュラリティはベンチマーク圧縮の強力な信頼性の高いツールであることが示唆された。
関連論文リスト
- Benchmarking on Tasks That Matter: Dataset Selection for Preserving Model Rankings [0.9870126088784975]
機械学習モデルのベンチマークには、多くのデータセットが含まれることが多い。
効率性のためには、代わりに、小さくて代表的なデータセットの評価が好ましい。
本稿では,データセットのサブセットを選択する作業を行うためのフレームワークを紹介し,その選択戦略がグローバルモデルランキングをいかに保持するかを評価する。
論文 参考訳（メタデータ） (2026-06-26T11:50:22Z) - F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。
この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。
このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。
本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-13T04:52:33Z) - Submodular Benchmark Selection [51.56484100374058]
選択されたベンチマークと残りのベンチマークの間のエントロピーと相互情報は、自然な目的として生じる。
10の公開リーダーボードによる3つの行列の実験では、相互情報選択は小さなサブセットでの計算においてエントロピーよりも優れていた。
論文 参考訳（メタデータ） (2026-05-04T04:17:02Z) - IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。
各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。
IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
論文 参考訳（メタデータ） (2026-03-05T02:21:17Z) - DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。
ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。
我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
論文 参考訳（メタデータ） (2026-03-01T16:10:16Z) - Submodular Evaluation Subset Selection in Automatic Prompt Optimization [10.54347571741568]
原理的観点から,迅速な最適化のための評価サブセット選択について検討する。
対象集合関数の最大化としてフレーム選択を行い、穏やかな条件下では単調かつ部分モジュラーであることが示せる。
GSM8K、MATH、GPQA-Diamond全体で、サブモジュール選択された評価サブセットは、ランダムやベースラインよりも最適化されたプロンプトが得られる。
論文 参考訳（メタデータ） (2026-01-07T01:12:45Z) - Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
DSPy+HELMフレームワークを提案する。
構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。
これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
論文 参考訳（メタデータ） (2025-11-25T20:37:59Z) - Fluid Language Model Benchmarking [126.92394365620525]
我々は,複数の次元にわたるLMベンチマークを進展させる新しい評価手法であるFluid Benchmarkingを紹介する。
サイコメトリックスにインスパイアされたFluid Benchmarkingは、ベンチマーク項目の相対値がLMの能力レベルに依存するという洞察に基づいている。
効率性,妥当性,分散性,飽和性の4つの次元を検証した結果,Fluid Benchmarkingがすべてにおいて優れた性能を発揮することがわかった。
論文 参考訳（メタデータ） (2025-09-14T05:49:42Z) - carps: A Framework for Comparing N Hyperparameter Optimizers on M Benchmarks [61.79411281702448]
carpsはComprehensive Automated Research Performance Studiesのベンチマークフレームワークである。
我々は、ブラックボックス、マルチオブジェクト、マルチオブジェクト、マルチオブジェクトの4つの重要なタイプのHPOタスクに焦点をあてる。
5つのコミュニティベンチマークコレクションから336のタスクと28種類の9つのファミリーで、私たちはこれまでで最大のGotoライブラリを提供しています。
論文 参考訳（メタデータ） (2025-06-06T15:01:39Z) - Data Efficient Evaluation of Large Language Models and Text-to-Image Models via Adaptive Sampling [3.7467864495337624]
SubLIMEはテキスト・ツー・イメージ・モデルのためのデータ効率評価フレームワークである。
我々のアプローチは、完全なデータセットと比較して統計的に整合したモデルランキングを保証する。
HEIMのリーダーボードを利用して、17の異なるベンチマークで25のテキスト・ツー・イメージモデルをカバーしています。
論文 参考訳（メタデータ） (2024-06-21T07:38:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。