論文の概要: Prompt-Dependent Ranking of Large Language Models with Uncertainty Quantification
- arxiv url: http://arxiv.org/abs/2603.03336v1
- Date: Wed, 11 Feb 2026 18:16:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-09 01:20:08.166465
- Title: Prompt-Dependent Ranking of Large Language Models with Uncertainty Quantification
- Title（参考訳）: 不確実な量子化を伴う大規模言語モデルのプロンプト依存ランク付け
- Abstract要約: 我々は、ペアワイズな人選好の下で、プロンプト依存のランキング推定について検討する。
我々は統計的に妥当な不確実性保証を有する意思決定安全ランキングの枠組みを開発する。
- 参考スコア（独自算出の注目度）: 9.99813918008511
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rankings derived from pairwise comparisons are central to many economic and computational systems. In the context of large language models (LLMs), rankings are typically constructed from human preference data and presented as leaderboards that guide deployment decisions. However, existing approaches rely on point estimates, implicitly treating rankings as fixed objects despite substantial estimation noise and context-dependent performance variation. Acting on such rankings can lead to misallocation and welfare loss when apparent differences are not statistically meaningful. We study prompt-dependent ranking inference under pairwise human preferences and develop a framework for decision-safe rankings with statistically valid uncertainty guarantees. We model preferences using a contextual Bradley-Terry-Luce model in which the latent utility of each model depends on the input prompt. Rather than targeting point estimates of utilities, we directly conduct inference on induced rankings, constructing confidence sets based on simultaneous confidence intervals for pairwise utility differences. This approach yields statistically valid marginal and simultaneous confidence sets for prompt-specific ranks. Our framework connects recent advances in rank inference to contextual preference learning and provides tools for robust ranking-based decision-making. Empirically, using large-scale human preference data from LLM evaluations, we show that rankings vary substantially across prompt characteristics and that many apparent rank differences are not statistically distinguishable. We further demonstrate how uncertainty-aware rankings identify dominance only when supported by the data and otherwise return partial orders.
- Abstract（参考訳）: ペア比較から導かれるランクは、多くの経済・計算システムの中心である。
大規模言語モデル(LLM)の文脈では、ランキングは通常、人間の好みのデータから構築され、デプロイメント決定を導くリーダーボードとして提示される。
しかし、既存のアプローチでは、かなりの推定ノイズと文脈に依存したパフォーマンスの変動にもかかわらず、ランク付けを固定オブジェクトとして暗黙的に扱い、点推定に依存している。
このようなランク付けを行うと、明らかな相違が統計的に意味をなさない場合、転職や福祉の損失につながる可能性がある。
本研究では, 統計的に妥当な不確実性保証を有する意思決定安全ランキングの枠組みを, 対人選好下での即時順位推定について検討した。
我々は、各モデルの潜在ユーティリティが入力プロンプトに依存する文脈的Bradley-Terry-Luceモデルを用いて、好みをモデル化する。
ユーティリティのポイント推定を対象とするのではなく,相互に有効性の違いを推定するために,同時信頼区間に基づく信頼セットの構築を行う。
このアプローチは、プロンプト固有のランクに対する統計的に有効な限界と同時信頼セットを与える。
我々のフレームワークは、最近のランク推論の進歩と文脈的嗜好学習を結びつけ、ロバストなランキングベースの意思決定のためのツールを提供する。
実験では, LLM評価から得られた大規模人選データを用いて, 目覚しい特徴によってランクが著しく異なること, 目覚しいランクの違いが統計的に区別できないことが確認された。
さらに、不確実性を考慮したランキングが、データによって支持された場合にのみ支配を識別し、それ以外は部分的な順序を返すことを実証する。
関連論文リスト
- On the Stability of Prompt Ranking in Large Language Model Evaluation [9.718200364661675]
本稿では,ランダムシードや限定評価サブセットなど,変数の共通源下でのランク付け安定性について系統的に検討する。
全体的なランク相関は、しばしば適度に高いが、トップパフォーマンスのアイデンティティは頻繁に変化し、信頼性の低い選択決定につながる。
本稿では,性能と分散性の両方を考慮し,信頼度を低くした簡易な安定性を考慮した選択戦略を提案する。
論文 参考訳（メタデータ） (2026-06-23T10:13:47Z) - Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。
提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。
我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
論文 参考訳（メタデータ） (2026-04-07T12:53:22Z) - A Judge-Aware Ranking Framework for Evaluating Large Language Models without Ground Truth [4.9467757325435775]
大規模言語モデル(LLM)をオープンなタスクで評価することは、LLM-as-a-judgeパラダイムを通じてますます行われています。
すべての裁判官を平等に扱うことは、偏見のあるリーダーボードを生み出し、不確実性の推定を誤解させる可能性がある。
そこで本研究では,Bradley-Terry-Luceモデルを拡張し,判定固有の識別パラメータを導入することにより,判定対応のランキングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-29T15:01:28Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。
最適化に基づく最適化手法であるMERITを導入する。
MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
論文 参考訳（メタデータ） (2025-06-23T19:59:30Z) - Learning when to rank: Estimation of partial rankings from sparse, noisy comparisons [0.0]
偏位を学習するための原理的非パラメトリックベイズ法(階層付きランク)を開発する。
そこで本研究では,実データと合成データを用いて,本手法の性能について検討する。
論文 参考訳（メタデータ） (2025-01-05T11:04:30Z) - Confidence Diagram of Nonparametric Ranking for Uncertainty Assessment in Large Language Models Evaluation [20.022623972491733]
大きな言語モデル(LLM)のランク付けは、$N$のポリシーに基づいてアライメントを改善する効果的なツールであることが証明されている。
本稿では,言語モデルのランキングの中から仮説テストのための新しい推論フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-07T02:34:30Z) - Ranking evaluation metrics from a group-theoretic perspective [5.333192842860574]
一般的に使用される指標において、不整合評価や潜在的な不信の原因となる事例を示す。
分析では,不整合性評価を不信の原因とみなすべきではないことを強調し,評価指標のランク付けに光を当てた。
論文 参考訳（メタデータ） (2024-08-14T09:06:58Z) - Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。
我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。
単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
論文 参考訳（メタデータ） (2024-06-06T17:37:39Z) - Stability and Multigroup Fairness in Ranking with Uncertain Predictions [61.76378420347408]
我々の研究はランキング関数について考察している。分類タスクの個々の予測からランキング上の分布へのマップ。
ランキング関数の2つの側面、すなわち予測における摂動に対する安定性と、個人とサブグループの両方に対する公正性に焦点を当てる。
我々の研究は、不確実性に敏感なランキングが、グループと個人レベルの公正性の保証とを自然に補間していることを示している。
論文 参考訳（メタデータ） (2024-02-14T17:17:05Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。