Fugu-MT 論文翻訳(概要): SimBA: Simplifying Benchmark Analysis Using Performance Matrices Alone

論文の概要: SimBA: Simplifying Benchmark Analysis Using Performance Matrices Alone

arxiv url: http://arxiv.org/abs/2510.17998v1
Date: Mon, 20 Oct 2025 18:23:27 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-25 03:08:12.444479
Title: SimBA: Simplifying Benchmark Analysis Using Performance Matrices Alone
Title（参考訳）: SimBA: パフォーマンスマトリックスを単独で使用してベンチマーク分析を簡単にする
Authors: Nishant Subramani, Alfredo Gomez, Mona Diab,
Abstract要約: SimBAはBenchmark Analysisを単純化するフレームワークである。 SimBAを3つの人気のあるLMベンチマークに適用すると、データセットとモデルが互いに強く関係していることが分かる。 SimBAは、モデルトレーニング中のモデル開発者の効率向上を支援し、データセット作成者が、ベンチマークで既存のデータセットと新たに作成されたデータセットが異なるかどうかを検証する。
参考スコア（独自算出の注目度）: 5.751898432955296
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Modern language models are evaluated on large benchmarks, which are difficult to make sense of, especially for model selection. Looking at the raw evaluation numbers themselves using a model-centric lens, we propose SimBA, a three phase framework to Simplify Benchmark Analysis. The three phases of SimBA are: stalk, where we conduct dataset & model comparisons, prowl, where we discover a representative subset, and pounce, where we use the representative subset to predict performance on a held-out set of models. Applying SimBA to three popular LM benchmarks: HELM, MMLU, and BigBenchLite reveals that across all three benchmarks, datasets and models relate strongly to one another (stalk). We develop an representative set discovery algorithm which covers a benchmark using raw evaluation scores alone. Using our algorithm, we find that with 6.25% (1/16), 1.7% (1/58), and 28.4% (21/74) of the datasets for HELM, MMLU, and BigBenchLite respectively, we achieve coverage levels of at least 95% (prowl). Additionally, using just these representative subsets, we can both preserve model ranks and predict performance on a held-out set of models with near zero mean-squared error (pounce). Taken together, SimBA can help model developers improve efficiency during model training and dataset creators validate whether their newly created dataset differs from existing datasets in a benchmark. Our code is open source, available at https://github.com/nishantsubramani/simba.
Abstract（参考訳）: 現代の言語モデルは大規模なベンチマークで評価され、特にモデル選択では理解が難しい。モデル中心のレンズを用いて生の評価番号を自在に検討し,ベンチマーク解析の簡易化を目的とした3段階フレームワークであるSimBAを提案する。 SimBAの3つのフェーズは、ストーク(stalk)、データセットとモデルの比較(prowl)、代表サブセットの発見(prowl)、ポウンス(pounce)である。 SimBAを3つの人気のあるLMベンチマーク(HELM、MMLU、BigBenchLite)に適用すると、3つのベンチマーク、データセット、モデルが互いに強く関係していることが分かる。評価スコアのみを用いてベンチマークをカバーする代表セット探索アルゴリズムを開発した。このアルゴリズムを用いて,HELM,MMLU,BigBenchLiteの各データセットの6.25% (1/16), 1.7% (1/58), 28.4% (21/74) で,少なくとも95% (prowl) のカバレッジレベルを達成した。さらに、これらの代表部分集合のみを用いることで、モデルランクを保ち、平均二乗誤差(pounce)に近い平均二乗誤差(pounce)の保留されたモデルセットのパフォーマンスを予測できる。まとめると、SimBAはモデル開発者がモデルのトレーニング中に効率を改善するのに役立つ。私たちのコードはオープンソースで、https://github.com/nishantsubramani/simba.comから入手可能です。

関連論文リスト

How Benchmark Prediction from Fewer Data Misses the Mark [18.693874781163657]
ベンチマーク予測は、評価ポイントの小さなサブセットを選択し、そのサブセットからベンチマーク全体のパフォーマンスを予測することを目的としている。本論文では,19種類のベンチマークにおいて,11種類のベンチマーク予測手法の長所と短所を体系的に評価する。
論文参考訳（メタデータ） (2025-06-09T11:50:41Z)
Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
新しいテストタイムアライメントアプローチであるQAlignを紹介します。テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
論文参考訳（メタデータ） (2025-04-04T00:41:40Z)
MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
論文参考訳（メタデータ） (2025-02-14T18:59:51Z)
ONEBench to Test Them All: Sample-Level Benchmarking Over Open-Ended Capabilities [30.123976500620834]
従来の固定テストセットは、ファンデーションモデルのオープンな機能を評価するのに不足しています。 ONEBenchは、個々の評価データセットを統一し、拡張し続けるサンプルプールに統合する新しいテストパラダイムである。 ONEBenchは、テストセットにまたがってサンプルを集約することにより、オリジナルのテストセットでカバーされたもの以上の多様な機能の評価を可能にする。
論文参考訳（メタデータ） (2024-12-09T18:37:14Z)
A Comprehensive Benchmark of Machine and Deep Learning Across Diverse Tabular Datasets [0.6144680854063939]
本稿では,Deep Learningモデルが優れているデータセットのタイプを特徴付けるためのベンチマークを紹介する。我々は回帰タスクと分類タスクを含む20の異なるモデルで111のデータセットを評価した。このベンチマークの結果に基づいて、我々は、DLモデルが86.1%の精度で代替手法より優れているシナリオを予測するモデルを訓練する。
論文参考訳（メタデータ） (2024-08-27T06:58:52Z)
AutoBencher: Towards Declarative Benchmark Construction [74.54640925146289]
AutoBencherを使って、数学、多言語性、知識、安全性のためのデータセットを作成しています。 AutoBencherのスケーラビリティにより、詳細なカテゴリ知識をテストでき、既存のベンチマークよりも22%のモデルエラー(難易度)を誘発するデータセットを作成することができる。
論文参考訳（メタデータ） (2024-07-11T10:03:47Z)
Data Efficient Evaluation of Large Language Models and Text-to-Image Models via Adaptive Sampling [3.7467864495337624]
SubLIMEはテキスト・ツー・イメージ・モデルのためのデータ効率評価フレームワークである。我々のアプローチは、完全なデータセットと比較して統計的に整合したモデルランキングを保証する。 HEIMのリーダーボードを利用して、17の異なるベンチマークで25のテキスト・ツー・イメージモデルをカバーしています。
論文参考訳（メタデータ） (2024-06-21T07:38:55Z)
Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。 Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
論文参考訳（メタデータ） (2023-09-14T17:45:51Z)
Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文参考訳（メタデータ） (2021-06-01T22:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。