論文の概要: Rank Confidence Sequences:Anytime-valid Leaderboards
- arxiv url: http://arxiv.org/abs/2609.32211v1
- Date: Sat, 26 Sep 2026 04:17:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 18:51:03.011466
- Title: Rank Confidence Sequences:Anytime-valid Leaderboards
- Title（参考訳）: ランク信頼シーケンス:リアルタイム有能なリーダーボード
- Abstract要約: リーダーボードは、ベンチマーク項目の平均スコアでモデルをランク付けします。
モデルランクに対する既存の信頼区間は、あらかじめ選択された多数の項目の後に一度計算された場合のみエラー率を制御する。
すべてのモデルに対して、その真のランクを含むランクの集合を、すべてのモデルに対して同時に、そして常に、有限サンプルにおいて選択されたエラーレベル$$で構成する。
- 参考スコア（独自算出の注目度）: 13.385373310554327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Leaderboards rank models by their average scores on benchmark items, and they are consulted repeatedly while the evaluation is still running. Existing confidence intervals for a model's rank control their error rate only if they are computed once, after a number of items chosen in advance. If they are recomputed as results arrive, and the evaluation stops once they look decisive, their error rate exceeds its nominal level. Anytime-valid methods keep their guarantees at all sample sizes simultaneously and hence under any stopping rule. They exist for the accuracy of one model, for one pair of models and for the set of models that may be best. For pairwise battles they also give ranks. None gives ranks when all models are scored on the same items, which makes their scores dependent. We construct rank confidence sequences: for every model, a set of ranks that contains its true rank, simultaneously for all models and at all times, at a chosen error level $α$, in finite samples. The construction combines betting e-processes, one for each ordered pair of models, with closed testing over the possible orderings of the models. It allows any dependence between the models' scores on an item. The method has two advantages. A leaderboard can be inspected after every item without inflating its error rate. The evaluation of each model can stop as soon as the question asked about it is answered, which saves compute. When results are examined only once, halfway through or later, little power is lost relative to fixed-sample methods. The paper quantifies these advantages in simulations and on public leaderboard data.
- Abstract（参考訳）: リーダーボードは、ベンチマーク項目の平均スコアでモデルをランク付けします。
モデルランクに対する既存の信頼区間は、あらかじめ選択された多数の項目の後に一度計算された場合のみエラー率を制御する。
結果が届くと再計算され、結果が決定的に見えると評価が止まると、そのエラー率は名目上のレベルを超えます。
任意のtime-validメソッドは、保証をすべてのサンプルサイズで同時に保持する。
一組のモデルの精度、一組のモデルの精度、そして最良かもしれないモデルの集合に対して存在する。
対等戦では階級も与えられる。
すべてのモデルが同じアイテムで得点された時点ではランクが与えられないため、スコアは依存している。
すべてのモデルに対して、その真の階数を含むランクの集合を、すべてのモデルに対して同時に、そして常に、有限標本において選択された誤差レベル$α$で構成する。
構成は、各順序のモデルに対して1つずつのベッティングe-プロセスと、モデルの順序に関するクローズドなテストを組み合わせる。
これは、あるアイテムにおけるモデルのスコア間の依存を許容する。
この方法には2つの利点がある。
リーダーボードは、エラー率を膨らませることなく、各項目の後に検査することができる。
各モデルの評価は、質問が答えられたらすぐに終了し、計算を節約できる。
結果が1回, 途中, 以降でのみ検査されると, 固定サンプル法と比較してほとんどパワーが失われる。
本稿は、これらの利点をシミュレーションおよび公開リーダーボードデータで定量化する。
関連論文リスト
- Style, Not Self: Surface Cues Explain Zero-Shot Code Attribution by Large Language Models [4.36766480644779]
5つのLCMはMBPP、HumanEval、DS-1000のソリューションを生成し、さらに7つのMBPP、モデルが4つのタスクで評価器として機能する。
単一解法タスクでは、バランスの取れた精度は15のモデルとベンチマークの組み合わせで49-58%である。
名前付きモデルへの帰属はいくつかのペアで成功し、常に他のペアで逆転する。
論文 参考訳（メタデータ） (2026-09-24T16:11:21Z) - The Undetected Damage of Quantization on Retrieval and How to Fix It [51.02977749156532]
分類精度を保った量子モデルでは,トップ1検索結果の14ドルから46%の値がまだ変化していることを示す。
この失敗を2つの上位モデルスコア間のギャップに結び付け、そのギャップを使用して、定量化された回答をいつ信頼するかを決めます。
この差が最大の丸め誤差の2倍を超える場合にのみ、トップ1結果が量子化を継続することが保証されていることを示す。
論文 参考訳（メタデータ） (2026-09-21T09:26:35Z) - Discriminative World Models for Web Agents [52.31107486410659]
最近のWebエージェントは、テストタイムアクションの選択に世界モデルを使用し、候補アクションをサンプリングし、結果のWeb状態を予測し、ランキングモデルまたはプロセスリワードモデル(PRM)でランキングする。
予測状態マッチング(英: predict-state matching)は、予測された表現が真の結果状態と、代替行動によって到達した状態とを区別しなければならない訓練目的である。
提案手法は,WebPRMBench上でのPRMスタイルのアクションランキングを改善する。
論文 参考訳（メタデータ） (2026-09-02T17:59:40Z) - LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning [6.241883798820154]
モデル間コンセンサス(モデル間コンセンサス)について検討し、独立に訓練されたモデル(各モデルが一度解ける程度)が最終解に一致するかを検討した。
パネルをLCM判定として扱い、合意の構造は、他のモデルのスコアではなく、検証信号である。
3つのパネル統計値から平均絶対誤差0.03$までのコンセンサス精度を予測する。
論文 参考訳（メタデータ） (2026-07-11T05:57:54Z) - Model selection with proper scoring rules on data sets of time series: prefer the mean scaled score [0.13599496385950985]
複数の時系列のデータセットから評価した確率的予測モデルにおけるモデル選択の問題について検討する。
このような相違はスコアの分布の歪みから生じることを示す。
テストセットのサイズが大きくなると、すべてのアグリゲーション基準は同じモデル選択決定に収束する。
論文 参考訳（メタデータ） (2026-06-23T15:36:28Z) - Rank Intervals for Leaderboards: A Hierarchical Framework for Model Evaluation [4.297070083645049]
両レベルの統計的保証を伴うモデルランク間隔を構築する階層的枠組みを導入する。
シミュレーションデータとTabArena と PromptEval のベンチマーク実験により,本手法が統計的に有効かつ情報的間隔を生じることを示す。
論文 参考訳（メタデータ） (2026-06-07T15:31:29Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。
ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。
提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
論文 参考訳（メタデータ） (2024-11-14T17:53:35Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳（メタデータ） (2023-02-17T18:45:04Z) - A Case Study on Sampling Strategies for Evaluating Neural Sequential
Item Recommendation Models [69.32128532935403]
負の項目をサンプリングする2つのよく知られた戦略は、一様ランダムサンプリングと人気によるサンプリングである。
我々は、現在最先端のシーケンシャルレコメンデータモデルを再評価する。
いずれのサンプリング戦略も,モデルの完全なランキングと比較すると,一貫性のないランキングを生成できることがわかった。
論文 参考訳（メタデータ） (2021-07-27T19:06:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。