論文の概要: Beyond Scalar Leaderboards: Adaptive Sampling for Pareto Frontier Identification in Multi-Objective LLM Arenas
- arxiv url: http://arxiv.org/abs/2610.27447v1
- Date: Tue, 20 Oct 2026 00:50:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.563317
- Title: Beyond Scalar Leaderboards: Adaptive Sampling for Pareto Frontier Identification in Multi-Objective LLM Arenas
- Title（参考訳）: マルチオブジェクトLDMアリーナにおけるPareto Frontier識別のための適応サンプリング
- Abstract要約: VB-EGE(Vector-Borda Empirical-Gap Elimination)は,モデル同定を効率的に行う固定信頼適応サンプリングアルゴリズムである。
VB-EGEは、十分な統計的証拠が蓄積されると、アクティブな集合からモデルを徐々に排除する。
3つの実世界のアリーナデータセットのシミュレーションと実験は、VB-EGEの実証的な効果を示している。
- 参考スコア（独自算出の注目度）: 8.5133415329194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The evaluation of large language models (LLMs) is inherently multi-objective, as different models may offer different tradeoffs across performance dimensions such as math, code, and writing. Because such evaluations are often based on costly and time-consuming human feedback, it is important to draw reliable conclusions using as few comparisons as possible. In this paper, we present Vector-Borda Empirical-Gap Elimination (VB-EGE), a fixed-confidence adaptive sampling algorithm for efficiently identifying models on the Pareto frontier in arena-style evaluation, where each comparison evaluates a pair of models on a prompt with respect to a selected performance dimension. VB-EGE progressively eliminates models from an active set once sufficient statistical evidence has been accumulated to certify their Pareto status. Under a multi-objective Bradley-Terry model, we show that VB-EGE returns the correct Pareto frontier with high probability and derive an instance-dependent upper bound on its sample complexity. We further establish a worst-case lower bound showing that VB-EGE is minimax-optimal up to logarithmic factors. Simulations and experiments on three real-world Arena datasets (Arena, SearchArena, and VisionArena) demonstrate VB-EGE's empirical effectiveness.
- Abstract（参考訳）: 大規模言語モデル (LLM) の評価は本質的に多目的であり、様々なモデルが数学、コード、書き込みといったパフォーマンスの面で異なるトレードオフを提供する可能性がある。
このような評価は、コストと時間を要する人間のフィードバックに基づいて行われることが多いため、可能な限り少ない比較で信頼性の高い結論を導き出すことが重要である。
本稿では,アリーナ式評価においてパレートフロンティアのモデルを効率的に同定する固定信頼適応型サンプリングアルゴリズムであるVector-Borda Empirical-Gap Elimination (VB-EGE)を提案する。
VB-EGEは、パレート状態の証明に十分な統計的証拠が蓄積されたときに、アクティブな集合からモデルを徐々に排除する。
多目的Bradley-Terryモデルの下では、VB-EGEは正しいParetoフロンティアを高い確率で返却し、サンプルの複雑さに基づいてインスタンス依存上界を導出することを示す。
さらに、VB-EGEが対数係数まで最小最適であることを示す最悪の下界を確立する。
3つの実世界のアリーナデータセット(Arena、SearchArena、VisionArena)のシミュレーションと実験は、VB-EGEの実証的な効果を示している。
関連論文リスト
- DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。
我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
論文 参考訳（メタデータ） (2026-06-24T22:40:46Z) - The Partial Testimony of Logs: Evaluation of Language Model Generation under Confounded Model Choice [22.228743542695835]
本研究では,大規模に構築された大規模観測ログと,未確立のスコアリングのための小さなランダム化実験と,オフラインシミュレータを組み合わせた3ソース設計について検討する。
本研究の主な成果は,ランダム化実験とシミュレータにより因果モデル値の復元が可能であることを示す同定定理である。
論文 参考訳（メタデータ） (2026-05-02T07:55:55Z) - MSVBench: Towards Human-Level Evaluation of Multi-Shot Video Generation [48.84450712826316]
MSVBenchは、マルチショットビデオ生成に適した階層的なスクリプトと参照イメージを備えた最初の包括的なベンチマークである。
本稿では,大規模マルチモーダルモデルの高レベルな意味推論と,ドメイン固有のエキスパートモデルの微粒な知覚的厳密さを相乗化するハイブリッド評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-27T12:26:34Z) - Rethinking LLM-as-a-Judge: Representation-as-a-Judge with Small Language Models via Semantic Capacity Asymmetry [41.26991813225211]
曲面生成の代わりに内部表現を活用することにより,より小さなモデルで効率的な評価を行うことができるかどうかを検討する。
本稿では,セマンティック・キャパシティ非対称性仮説を提案する。
我々は、このパラダイムを、小さなモデル表現からアスペクトレベルの評価スコアを予測する探索ベースのフレームワークであるINSPECTORを通じてインスタンス化する。
論文 参考訳（メタデータ） (2026-01-30T05:34:24Z) - Probing Preference Representations: A Multi-Dimensional Evaluation and Analysis Method for Reward Models [63.00458229517523]
本研究は、嗜好表現を探索することで、報酬モデルの評価課題に対処する。
多次元リワードモデルベンチマーク (MRMBench) を構築する。
本稿では,報酬予測時に使用する次元を同定し,その解釈可能性を高める解析手法,推論時探索を提案する。
論文 参考訳（メタデータ） (2025-11-16T05:29:29Z) - A Third Paradigm for LLM Evaluation: Dialogue Game-Based Evaluation using clembench [18.149327897427234]
2023年から継続的開発が続けられているClembenchについて紹介する。
我々は、それが自身のモデル(英語で提供されるベンチマークゲームインスタンスのセットを使用して)のベンチマークにどのように使用できるかを説明する。
論文 参考訳（メタデータ） (2025-07-11T11:16:01Z) - Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。
1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
論文 参考訳（メタデータ） (2024-10-14T01:57:25Z) - A Multi-Armed Bandit Approach to Online Selection and Evaluation of Generative Models [23.91197677628145]
本研究では,標準評価スコアを最大化する生成モデルを見つけるためのオンライン評価選択フレームワークを提案する。
具体的には、Fr'echet Distance(FD)とInception Score(IS)のメトリクスを考慮した、MABに基づく生成モデルの選定を開発する。
実験の結果, 深部生成モデルの標本効率評価と選択に対するMABアプローチの有効性が示唆された。
論文 参考訳（メタデータ） (2024-06-11T16:57:48Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。