論文の概要: Anytime-Valid LLM Leaderboards via Benchmark-weighted and Block-Factorized e-Processes
- arxiv url: http://arxiv.org/abs/2609.32248v1
- Date: Sat, 26 Sep 2026 05:09:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 18:30:05.56735
- Title: Anytime-Valid LLM Leaderboards via Benchmark-weighted and Block-Factorized e-Processes
- Title（参考訳）: ベンチマーク重み付きおよびブロックファクタライズE-Processesによる任意のValid LLMリーダーボード
- Abstract要約: 大規模言語モデル(LLM)のリーダーボードは、固定ベンチマークの平均性能に応じて、モデルランキングによってモデル機能を比較する。
実行中の評価結果の変動は、ベンチマークにおけるモデル優越性の支持できないクレームを発生させる可能性がある。
BB-EDGE は LLM リーダーボードをエッジがペアワイズ平均性能の利点を証明した有向グラフとして表現するフレームワークである。
- 参考スコア（独自算出の注目度）: 17.250805595901625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) leaderboards compare model capabilities by ranking models according to their mean performance on fixed benchmarks. However, variability in evaluation outcomes across runs may produce unsupported claims of model superiority on the benchmark, a risk compounded by leaderboard updates. In this paper, we propose BB-EDGE (Benchmark-Weighted and Block-Factorized e-processes for Directed Graph Evaluation), a principled framework that represents an LLM leaderboard as a directed graph whose edges certify pairwise mean-performance advantages, with anytime-valid family-wise error rate (FWER) control. Concretely, for each direction, BB-EDGE constructs an empirical-Bernstein e-process by factorizing evidence over protocol-defined blocks and assigning stakes proportional to the corresponding block weights, then applies direct e-Holm across these $e$-processes to certify directional advantages as edges. Theoretically, we characterize weight-proportional linear stakes under heterogeneous benchmark-average nulls and prove anytime FWER control under arbitrary within-block and cross-pair dependence. BB-EDGE further supports anytime-valid Top-$k$ certification and simultaneous rank intervals. Extensive experiments on synthetic data and four real-world benchmarks demonstrate that BB-EDGE maintains anytime FWER control while achieving high efficiency.
- Abstract（参考訳）: 大規模言語モデル(LLM)のリーダーボードは、固定ベンチマークの平均性能に応じて、モデルランキングによってモデル機能を比較する。
しかし、実行中の評価結果のばらつきは、ベンチマークにおけるモデル優越性の支持できない主張を生み出す可能性がある。
本稿では,指向グラフ評価のためのBB-EDGE(Benchmark-Weighted and Block-Factorized e-processes for Directed Graph Evaluation)を提案する。
具体的には、BB-EDGEは、プロトコル定義ブロック上のエビデンスを分解し、対応するブロック重みに比例するステートを割り当て、これらの$e$プロセス間で直接e-Holmを適用して、エッジとしての方向性の優位性を証明する。
理論的には、ヘテロジニアスなベンチマーク平均ヌルの下での重み比の線形ステークを特徴付けるとともに、任意のブロック内およびクロスペア依存下でのFWER制御をいつでも証明する。
BB-EDGEはさらに、任意の時価Top-$k$認証と同時ランクインターバルをサポートする。
合成データと4つの実世界のベンチマークに関する大規模な実験は、BB-EDGEが高効率を達成しつつ、いつでもFWER制御を維持していることを示している。
関連論文リスト
- The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean [2.822987192839875]
エージェントベンチマークは、大規模言語モデル(LLM)の比較やデプロイメント決定のガイドにますます使用されている。
実行クリティカルな決定はモデルの代わりに固定された足場によって行われ、スコアラはタスクの正しさを反映しない基準を用いて出力を評価する。
ベンチマークスコアをモデル能力の証拠として解釈できる場合に特徴付ける測定理論の枠組みでこれらの問題を統一する。
論文 参考訳（メタデータ） (2026-09-06T21:23:11Z) - Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization [85.4863852505905]
タンパク質言語モデル(PLM)の教師なし報酬最適化を導入する。
我々の重要な洞察は、本質的なモデルの不確実性とタンパク質表現モデルによって誘導される意味的整合性を組み合わせたタスク非依存報酬は、ベースモデルと温度レギュレーションの制御可能性指標と強い相関を示すことである。
我々のフレームワークは、ラベル付けされた好みや実験的なフィードバックが不足したり、利用できないような環境で、制御可能な生体分子設計へのスケーラブルな経路を提供する。
論文 参考訳（メタデータ） (2026-06-17T11:42:01Z) - Latent Performance Profiling of Large Language Models [47.009623327601226]
隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。
静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。
類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
論文 参考訳（メタデータ） (2026-05-28T14:41:26Z) - AI Cartography: Mapping the Latent Landscape of AI Benchmark Ecosystems [20.174278188532096]
AIベンチマークエコシステムの潜伏状況を測定するためのフレームワークを紹介します。
The Open LLM Leaderboardから4000以上のモデルに確認因子分析(CFA)と一般化可能性理論を適用して、ランキング分散の源泉を分解する。
ベンチマークランキングをどのように信頼するか、ベンチマーク設計をどのように改善できるかを判断するために、実行可能な診断を提供する。
論文 参考訳（メタデータ） (2026-05-24T21:59:08Z) - Provable Joint Decontamination for Benchmarking Multiple Large Language Models [19.929035827959822]
ベンチマーク除染を共同選択問題として定式化し,JECS(Joint Envelope Conformal Selection)を提案する。
JECS はモデルごとの同値 p を計算し、それを最大値で集約し、最大 p 個の null 分布の保守的エンベロープを再構成する。
様々なモデルとベンチマーク実験により、JECSは目標のGCR制御を一貫して維持しつつ、最大pベースラインよりも高い出力を達成することが示された。
論文 参考訳（メタデータ） (2026-05-20T09:16:39Z) - ScoringBench: A Benchmark for Evaluating Tabular Foundation Models with Proper Scoring Rules [0.7009487789080344]
TabPFN(英語版)やTabICL(英語版)のようなタブラル基礎モデルは、既に完全な分布を生成しているが、回帰ベンチマーク(英語版)はRMSE R2(英語版)によってほぼ独占的に評価されている。
ScoringBenchは、CRPS CRLS Interval Score Energy Score weighted CRPSやBrier Scoreといった適切なスコアルールの総合的なスイートを標準点メトリクスとともに計算するオープンベンチマークである。
結果は、モデルランキングが選択されたスコアリングルールに依存し、単一の事前学習目標が普遍的に最適でないことを確認した。
論文 参考訳（メタデータ） (2026-03-31T16:01:56Z) - IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。
各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。
IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
論文 参考訳（メタデータ） (2026-03-05T02:21:17Z) - Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control [61.155940786140455]
強化学習(RL)は,アクティブフロー制御(AFC)において有望な結果を示した。
現在のAFCベンチマークは、外部計算流体力学(CFD)の解法に依存しており、完全には微分不可能であり、3Dとマルチエージェントのサポートが限られている。
AFCにおけるRLのための最初のスタンドアロンで完全に差別化可能なベンチマークスイートであるFluidGymを紹介する。
論文 参考訳（メタデータ） (2026-01-21T14:13:44Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z) - Federated Fine-Tuning of Large Language Models: Kahneman-Tversky vs. Direct Preference Optimization [49.88778604259453]
我々は,大言語モデル (LLM) をフェデレート学習 (FL) 設定で微調整する方法として,KTO (Kahneman-Tversky Optimization) を評価した。
オリジナルの(KTOO)と再配布された(KTOR)構成の両方において、KTOはすべてのベンチマークで一貫してDPOを上回っている。
これらの知見は、KTOをFLの堅牢でスケーラブルな微調整方法として確立し、プライバシー保護、分散化、異種環境への採用を動機付けている。
論文 参考訳（メタデータ） (2025-02-20T01:44:21Z) - How to Prune Your Language Model: Recovering Accuracy on the "Sparsity
May Cry'' Benchmark [60.72725673114168]
下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。
そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
論文 参考訳（メタデータ） (2023-12-21T03:11:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。