論文の概要: evalci: A Python Library for Statistically Rigorous Comparison of Language Model Evaluations
- arxiv url: http://arxiv.org/abs/2607.04429v1
- Date: Sun, 05 Jul 2026 17:48:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.927872
- Title: evalci: A Python Library for Statistically Rigorous Comparison of Language Model Evaluations
- Title（参考訳）: evalci: 言語モデル評価の統計的に厳密な比較のためのPythonライブラリ
- Abstract要約: 言語モデル評価における支配的な実践は、モデル毎に1つの精度番号を報告し、より高い精度を宣言することである。
evalciは純粋Pythonライブラリで、結果テーブルを発行可能なクレームに変換する。
- 参考スコア（独自算出の注目度）: 0.5729426778193397
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The dominant practice in language model evaluation is to report a single accuracy number per model and declare the higher one better, without testing whether the gap could plausibly be sampling noise. On benchmarks of a few thousand items, and under temperature sampling where a model can differ from itself run to run by more than the reported gap between models, this practice routinely overstates confidence in headline claims. The statistical machinery to fix this -- confidence intervals, paired significance tests, power analysis, clustered standard errors, multiple-comparison correction -- is well established, but no standard, pip-installable tool packages it in the shape an evaluation actually takes: a per-item results table. We present evalci, a pure-Python library (numpy/scipy/pandas only) that turns a per-item results table into a publication-ready claim -- e.g., "Model A beats Model B, $Δ=3.1$ pts, 95% CI [1.2, 5.0], paired permutation $p=0.002$, $n=1{,}319$" -- in one function call, with adapters for lm-evaluation-harness and HELM output. Every routine is validated against an independent reference (statsmodels, or brute-force exact enumeration) rather than only against itself. As a case study, we re-analyze a public comparison of nine language models' MMLU accuracy and find that 3 of the 8 adjacent leaderboard-rank gaps are not statistically significant after correcting for the 36 pairwise comparisons the ranking implies. evalci is available at https://pypi.org/project/evalci/ (source: https://github.com/Shreyaskc/evalci, DOI: https://doi.org/10.5281/zenodo.21201815)
- Abstract（参考訳）: 言語モデル評価における支配的な実践は、ノイズをサンプリングできるかどうかをテストすることなく、モデル毎に1つの精度番号を報告し、より高い精度を宣言することである。
数千項目のベンチマークと、モデルが報告されたモデル間のギャップよりも多く実行するために実行されるモデルとは異なる温度サンプリングでは、このプラクティスは、常に見出しのクレームに対する信頼を過度に表現する。
信頼区間、ペアの重要度テスト、パワー分析、クラスタ化された標準エラー、多重比較補正など、この問題を解決するための統計装置は十分に確立されているが、実際の評価の形で、標準のピップインストール可能なツールパッケージは存在しない。
例えば、"Model A beats Model B, $Δ=3.1$ pts, 95% CI [1.2, 5.0], paired permutation $p=0.002$, $n=1{,}319$" -- 1つの関数呼び出しで、lm-evaluation-harnessとHELM出力のアダプタで、各項目の結果テーブルを発行可能なクレームに変換する。
すべてのルーチンは独立した参照(統計モデル、またはブルートフォースの正確な列挙)に対して、それ自体に対してのみ検証される。
ケーススタディでは,9つの言語モデルのMMLU精度の公開比較を再度分析し,隣り合う8つのリーダーボードランクギャップのうち3つは,ランキングが示唆する36のペアワイド比較を補正した後,統計的に有意ではないことが分かった。
evalciはhttps://pypi.org/project/evalci/ (source: https://github.com/Shreyaskc/evalci, DOI: https://doi.org/10.5281/zenodo.21201815)で利用可能である。
関連論文リスト
- Benchmarking Language Models for Statistical Problem Formulation [15.739640186203474]
StatFormBenchは5つのクロスドメイン統計教科書とデータサイエンスケースライブラリから構築されたベンチマークである。
20の粗い粒度と85の微粒な統計問題にまたがる1,013のサンプルを含んでいる。
モデルが2つのサブタスクで常に最善を尽くすことはないが、強化されたプロンプト戦略は限られた利得または一貫性のない利得しか得られない。
論文 参考訳（メタデータ） (2026-09-02T01:37:17Z) - CollabEval: Statistically Efficient Collaborative Model Evaluation via Matrix Completion [65.53153291902454]
コラボレーティブ・アセスメント(CollabEval)は、異なるモデルの歴史的実行間の依存関係を同じタスクで活用し、統計的効率を改善するための、シンプルで効果的で原則化された方法である。
スコア行列の低ランク近似を構築し、再構成された値を用いて真の評価基準平均の偏りのない推定を保証します。
その結果,CollabEval では,平均信頼区間サイズと点推定値の平均2乗誤差を,同じアノテーション予算における基準手法と比較して大幅に削減できることがわかった。
論文 参考訳（メタデータ） (2026-07-06T13:22:04Z) - Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score [14.579552536669217]
一般データ保護規制法に準拠するためには、ビジョンランゲージモデル(VLM)のアンラーニングが必要である。
マルチモーダル・アンラーニングにおける信頼性の最初の研究について述べる。
統一品質スコア(Unified Quality Score, UQS)は, 各計量のスピアマン相関と距離の関係から得られる重みを持つ計量である。
論文 参考訳（メタデータ） (2026-05-04T04:13:00Z) - Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
APIプロバイダは、基本モデルの定量化、透かし、微調整を行い、出力分布を変更することができる。
モデル平等テスト(Model Equality Testing)は,2サンプルテスト問題である。
単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
論文 参考訳（メタデータ） (2024-10-26T18:34:53Z) - Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。
しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。
対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
論文 参考訳（メタデータ） (2024-03-13T13:54:00Z) - Paloma: A Benchmark for Evaluating Language Model Fit [112.481957296585]
言語モデル (LM) の評価では、トレーニングから切り離されたモノリシックなデータに難易度が報告されるのが一般的である。
Paloma(Perplexity Analysis for Language Model Assessment)は、546の英語およびコードドメインに適合するLMを測定するベンチマークである。
論文 参考訳（メタデータ） (2023-12-16T19:12:45Z) - Uncertainty Quantification of MLE for Entity Ranking with Covariates [3.2839905453386162]
本稿では,ペア比較に基づくランキング問題の統計的推定と推定について検討する。
我々は、有名なBradley-Terry-Luceモデルを拡張した新しいモデルCAREモデルを提案する。
我々は、スパース比較グラフの下で、$alpha_i*_i=1n$と$beta*$の最大確率推定器を導出する。
大規模数値研究による理論結果の検証と相互資金保有データセットへの適用について検討する。
論文 参考訳（メタデータ） (2022-12-20T02:28:27Z) - Enhancing Self-Consistency and Performance of Pre-Trained Language
Models through Natural Language Inference [72.61732440246954]
大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。
本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。
ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
論文 参考訳（メタデータ） (2022-11-21T21:58:30Z) - The Projected Covariance Measure for assumption-lean variable significance testing [3.8936058127056357]
単純だが一般的なアプローチは、線形モデルを指定し、次に$X$の回帰係数が 0 でないかどうかをテストすることである。
条件付き平均独立性のモデルフリーなnullをテストする問題、すなわち条件付き平均の$Y$$$X$と$Z$は$X$に依存しない。
本稿では,加法モデルやランダムフォレストなど,柔軟な非パラメトリックあるいは機械学習手法を活用可能な,シンプルで汎用的なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-03T17:55:50Z) - Flexible Model Aggregation for Quantile Regression [92.63075261170302]
量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。
条件付き量子モデルの任意の数を集約する手法について検討する。
この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
論文 参考訳（メタデータ） (2021-02-26T23:21:16Z) - Overcoming Statistical Shortcuts for Open-ended Visual Counting [54.858754825838865]
出力ラベルに関係なく、カウントする適切なメカニズムを学習するモデルを開発することを目的としている。
まず,統計的ショートカットに過度に依存するモデルを罰するModifying Count Distributionプロトコルを提案する。
第2に、視覚分析と自然言語質問に基づく数え上げを専門とする空間カウントネットワーク(SCN)を導入する。
論文 参考訳（メタデータ） (2020-06-17T18:02:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。