Fugu-MT 論文翻訳(概要): Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons

論文の概要: Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons

arxiv url: http://arxiv.org/abs/2605.29395v1
Date: Thu, 28 May 2026 05:44:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-30 02:45:55.764985
Title: Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons
Title（参考訳）: 低ランク:不確かさを意識したタスク特化LDMランキング
Authors: Jiachun Li, David Simchi-Levi, Will Wei Sun,
Abstract要約: 低ランク共有は、独立したタスクワイドBradley-Terry推定よりもサンプリング効率を向上させる。合成データとアリーナの実験により、低ランクの共有は独立したタスクワイドBradley-Terry推定よりもサンプリング効率を向上させることが示された。
参考スコア（独自算出の注目度）: 16.73008463123115
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pairwise human-preference platforms such as Chatbot Arena have become central to large language model (LLM) evaluation, yet reliable task-specific ranking remains challenging. Global leaderboards mask task heterogeneity, while ranking each fine-grained task independently is unstable under sparse, imbalanced comparisons. We propose a low-rank framework for task-specific LLM ranking from sparse pairwise comparisons, modeling the task-by-model ability matrix $Θ^\star \in \mathbb{R}^{d_t \times d_m}$ as low rank so that information is shared across related tasks while task-specific differences are preserved. We first develop a max-norm ($\ell_\infty$) accurate estimator for the latent scores, combining a convex initializer with alternating-minimization refinement, and prove task-wise top-$K$ recovery guarantees under sparse sampling. Our main contribution is an uncertainty quantification framework for task-specific ranking. We construct cross-fitted one-step debiased estimators for fixed score contrasts -- such as the task-specific ability gap between two models -- yielding asymptotically valid confidence intervals that attain the semiparametric efficiency bound. We then extend the inference to the high-dimensional ranking regime, where per-task ranks and top-$K$ membership are determined by many dependent score-gap hypotheses. Using Gaussian and multiplier-bootstrap calibration, we obtain simultaneous confidence sets for per-task ranks and valid top-$K$ membership tests across many tasks and models. Experiments on synthetic data and Chatbot Arena show that low-rank sharing improves sample efficiency over independent task-wise Bradley-Terry estimation and produces tighter, better-calibrated ranking certificates, with the largest gains in the sparse regime typical of real LLM benchmarks.
Abstract（参考訳）: Chatbot Arenaのようなペアワイズなヒューマン推論プラットフォームは、大規模言語モデル(LLM)評価の中心となっているが、信頼性の高いタスク固有のランキングは依然として難しい。グローバルなリーダーボードはタスクの不均一性を隠蔽する一方、微粒なタスクを個別にランク付けすることは、スパースで不均衡な比較の下で不安定である。本稿では,タスクごとのLLMランキングを疎対比較から低ランクのフレームワークを提案し,タスクごとの差を保ちながら,関連するタスク間で情報を共有できるように,タスクごとの能力行列 $ ^\star \in \mathbb{R}^{d_t \times d_m}$ を低ランクとしてモデル化する。まず,最大ノルム(\ell_\infty$)精度推定器を開発し,コンベックスイニシャライザと最小化補正を併用し,スパースサンプリング下でのタスクワイド上位K$リカバリ保証を検証した。私たちの主な貢献は、タスク固有のランク付けのための不確実性定量化フレームワークです。 2つのモデル間のタスク固有の能力ギャップなど、固定スコアコントラストに対するクロスフィットの一段階偏差推定器を構築し、半パラメトリック効率境界に達する漸近的に有効な信頼区間を得る。次に、この推論を高次元のランキング体系に拡張し、各タスクのランクと上位$K$のメンバーシップは、多くの依存的なスコアギャップ仮説によって決定される。ガウスおよび乗算ボトストラップキャリブレーションを用いて、タスク毎のランクに対する同時信頼セットと、多くのタスクやモデルにおける上位$K$メンバシップテストの有効性を得る。合成データとChatbot Arenaの実験では、低ランクの共有は、独立したタスクワイドのBradley-Terry推定よりもサンプリング効率を向上し、より厳密でより良い校正されたランキング証明書を生成する。

論文の概要: Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons

関連論文リスト