論文の概要: Prediction-Powered LLM Ranking with Adaptively Collected Human Feedback
- arxiv url: http://arxiv.org/abs/2611.13186v1
- Date: Mon, 09 Nov 2026 20:06:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.584342
- Title: Prediction-Powered LLM Ranking with Adaptively Collected Human Feedback
- Title(参考訳): 適応的フィードバックを用いた予測型LDMランク付け
- Abstract要約: 予測パワーランキング(PP-Rank)は、予測と人間のフィードバックを組み合わせて精度を向上させるフレームワークである。
PP-Rankは精度を犠牲にすることなく評価コストを大幅に削減できることを示す。
- 参考スコア(独自算出の注目度): 8.608570097904266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ranking large language models (LLMs) through human evaluations is essential for downstream decision-making. Because human feedback is expensive, evaluation platforms often collect it adaptively, prioritizing informative model comparisons using previously observed feedback. To further improve precision with limited human feedback, evaluators can draw on abundant unrated responses and relatively inexpensive LLM judges; however, judge bias and adaptive dependence challenge standard i.i.d. inference frameworks. We propose Prediction-Powered Ranking (PP-Rank), a framework that combines LLM-judge predictions with human feedback to improve precision while providing valid inference under adaptive sampling. Data-driven prediction weights minimize the asymptotic covariance trace within the proposed class. In theory, we establish asymptotic normality for general evaluation targets and simultaneous ranking inference. A joint martingale analysis handles dependence between adaptive human feedback and auxiliary data. We further derive a rule for reducing exploration that prioritizes lower-cost comparisons while matching a conservative variance bound, and characterize allocation limits for regular $\sqrt{T}$-rate estimation of pairwise means. Semi-synthetic experiments on UltraFeedback-Extended show improvements over human-only baselines in score estimation, confidence interval width, and ranking certification. Synthetic experiments demonstrate robustness to judge quality and adaptive allocation, while showing that PP-Rank can substantially reduce evaluation costs without sacrificing precision.
- Abstract(参考訳): 人的評価による大規模言語モデル(LLM)のランク付けは、下流での意思決定に不可欠である。
人間のフィードバックは高価であるため、評価プラットフォームはしばしば適応的に収集し、事前に観測されたフィードバックを用いて情報モデルの比較を優先する。
人間のフィードバックを制限して精度を向上させるために、評価者は豊富な未評価の応答と比較的安価なLCMの判断を引き出すことができるが、判断バイアスと適応依存問題標準、すなわち推論フレームワークは、より正確である。
本研究では, LLM-judge 予測と人間のフィードバックを組み合わせた予測パワーランキング(PP-Rank)を提案する。
データ駆動予測重みは、提案クラス内の漸近的共分散トレースを最小限にする。
理論的には、一般的な評価対象と同時ランキング推定のための漸近正規性を確立する。
共同マーチンゲール分析は、適応的な人間のフィードバックと補助的なデータの依存を処理する。
さらに、保守的な分散境界を一致させながら低コスト比較を優先する探索の削減ルールを導出し、対平均の通常の$\sqrt{T}$-rate推定の割り当て制限を特徴付ける。
UltraFeedback-Extendedの半合成実験は、スコア推定、信頼区間幅、ランキング認定における人間のみのベースラインの改善を示す。
PP-Rankは精度を犠牲にすることなく評価コストを大幅に削減できることを示した。
関連論文リスト
- Optimal Design for Active Preference Learning with Biased LLM Judges [11.876583757558139]
人間の嗜好から学ぶことは、大きな言語モデル(LLM)のアライメントの中心であるが、人間の嗜好アノテーションは高価である。
本研究では,Nuisance-Adjusted Optimal Design (NAOD)を提案する。
NAODは、一致したターゲット情報設計に対するプロキシポリシーの後悔を29.1%削減する。
論文 参考訳(メタデータ) (2026-09-30T03:17:21Z) - MaPP: A Unified Marginalized Posterior-Predictive Framework for Data-Efficient RLVR [23.25125436885512]
検証可能な報酬を伴う強化学習は、ロールアウトとポリシー更新によってかなりのコストを発生させる。
データ効率のよいRLVRのための統合フレームワークであるMaPP(Marginalized Posterior-Predictive)を提案する。
MaPPは、標準群相対的優位性を、閉形式β-ビノミアル境界化による合成不変な内在的優位性に置き換える。
同じ後部を用いて、MaPPは不確実性を認識したプロンプト選択スコアを導出し、追加のロールアウトコストを伴わずにデータ効率を向上させる。
論文 参考訳(メタデータ) (2026-09-28T12:01:56Z) - Adaptive Doubly Robust Off-Policy Evaluation for Ranking Policies under Diverse User Behavior [0.7161783472741748]
Inverse Propensity Scoring (IPS) は過度な分散を持つ。
IPS と Reward Interaction IPS (RIPS) は、ユーザーがランキングを閲覧する方法に関する仮定を定め、ばらつきを減らす。
本稿では適応重み付けと再帰回帰を組み合わせた適応二重ロバスト(ADR)を提案する。
論文 参考訳(メタデータ) (2026-08-30T06:43:36Z) - CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。
BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
論文 参考訳(メタデータ) (2026-05-19T10:59:19Z) - EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳(メタデータ) (2026-04-21T14:07:39Z) - K-Sort Eval: Efficient Preference Evaluation for Visual Generation via Corrected VLM-as-a-Judge [51.93484138861584]
視覚生成モデルの急速な開発により、よりスケーラブルで人間に合わせた評価方法の必要性が高まっている。
K-Sort Evalは,後方補正と動的マッチングを統合した信頼性と効率的なVLMに基づく評価フレームワークである。
実験の結果、K-Sort EvalはK-Sort Arenaと一致した評価結果を提供する。
論文 参考訳(メタデータ) (2026-02-10T05:07:46Z) - RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。
提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。
実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文 参考訳(メタデータ) (2025-05-28T14:55:33Z) - SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。
SCANには4つの重要なコンポーネントが含まれている。
TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。
RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。
PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
論文 参考訳(メタデータ) (2025-05-10T16:52:40Z) - Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。
ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。
我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
論文 参考訳(メタデータ) (2025-04-20T19:05:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。