論文の概要: Active Learners as Efficient PRP Rerankers
- arxiv url: http://arxiv.org/abs/2605.14236v1
- Date: Thu, 14 May 2026 01:03:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.560409
- Title: Active Learners as Efficient PRP Rerankers
- Title(参考訳): 効率的なPRPリランカとしての能動的学習者
- Authors: Jeremías Figueiredo Paschmann, Juan Kaplan, Francisco Nattero Santiago Mauricio Barron Bucolo, Juan Wisznia, Luciano del Corro,
- Abstract要約: Pairwise Ranking Prompting (PRP)は、LLMからペアワイズ選好判断を導き出し、通常は古典的なソートアルゴリズムによってランキングに集約する。
PRPをノイズの多いペアワイズ比較からアクティブラーニングとして再評価し,コール制限体制下での1コールあたりのNDCG@10を改善するために,アクティブローダがドロップイン代替品であることを示す。
- 参考スコア(独自算出の注目度): 1.5780271477242245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pairwise Ranking Prompting (PRP) elicits pairwise preference judgments from an LLM, which are then aggregated into a ranking, usually via classical sorting algorithms. However, judgments are noisy, order-sensitive, and sometimes intransitive, so sorting assumptions do not match the setting. Because sorting aims to recover a full permutation, truncating it to meet a call budget does not produce a dependable top-K. We thus reframe PRP reranking as active learning from noisy pairwise comparisons and show that active rankers are drop-in replacements that improve NDCG@10 per call in the call-constrained regime. Our noise-robust framework also introduces a randomized-direction oracle that uses a single LLM call per pair. This approach converts systematic position bias into zero-mean noise, enabling unbiased aggregate ranking without the cost of bidirectional calls.
- Abstract(参考訳): Pairwise Ranking Prompting (PRP)は、LLMからペアワイズ選好判断を導き出し、通常は古典的なソートアルゴリズムによってランキングに集約する。
しかし、判断は騒々しく、秩序に敏感であり、時には非推移的であるため、ソート仮定は設定と一致しない。
ソートは完全な置換を回復することを目的としているため、コール予算を満たすように切り詰めるだけでは、信頼性の高いトップKが得られない。
そこで我々はPRPをノイズの多いペアワイズ比較からアクティブラーニングとして再編成し、アクティブローダがコール制約付きシステムにおける1コールあたりのNDCG@10を改善するドロップイン置換であることを示す。
我々のノイズロストフレームワークは、ペアごとに1つのLSMコールを使用するランダム化指向オラクルも導入しています。
このアプローチは、系統的な位置バイアスをゼロ平均雑音に変換し、双方向呼び出しのコストを伴わずに、非バイアスの集合ランク付けを可能にする。
関連論文リスト
- F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。
この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。
このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。
本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-13T04:52:33Z) - One Pass, Any Order: Position-Invariant Listwise Reranking for LLM-Based Recommendation [2.5827686695037335]
大規模言語モデル(LLM)は、再ランク付けにますます使用されるが、それらのリストワイズ予測は、候補が提示される順序に依存する可能性がある。
これにより、セットベースのレコメンデーションとデコーダのみのLLMのシーケンスベースの計算のミスマッチが生成される。
InvariRankは、アーキテクチャレベルでこの依存に対処する置換不変なリストワイド・リグレード・フレームワークである。
論文 参考訳(メタデータ) (2026-04-30T08:49:44Z) - Metric-agnostic Learning-to-Rank via Boosting and Rank Approximation [33.0347118359824]
そこで本研究では,各クエリの平均平方損失に対してスムーズな近似を組み合わした,新たな微分可能なランキング損失を提案する。
本手法は,情報検索における現状と同等の効率で性能を向上する。
論文 参考訳(メタデータ) (2026-04-16T14:59:00Z) - LLM-RankFusion: Mitigating Intrinsic Inconsistency in LLM-based Ranking [17.96316956366718]
大規模言語モデル(LLM)によるランク付けは、現代の情報検索(IR)システムにおいて有望な性能を達成することができる。
ソートに基づく手法では、パスを正しくソートするには一貫した比較が必要であり、LCMがしばしば違反することを示す。
LLMベースのランキングフレームワークであるLLM-RankFusionを提案する。
論文 参考訳(メタデータ) (2024-05-31T23:29:42Z) - Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models [63.714662435555674]
大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示す。
我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。
LLaMA v2 (70B) では GPT-3.5 では 7-18% , LLaMA v2 (70B) では 8-16% である。
論文 参考訳(メタデータ) (2023-10-11T17:59:02Z) - Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。
xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。
提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
論文 参考訳(メタデータ) (2023-07-27T07:42:44Z) - Label Ranking through Nonparametric Regression [5.994412766684843]
ラベルランキング(英: Label Ranking)とは、有限個のラベルの上のランクに特徴をマップする仮説を学習する問題である。
雑音のない非パラメトリック回帰設定において,ラベルランク付けのための生成モデルを導入する。
我々は,入力回帰雑音が観測された出力にどのように影響するかを理解することを目的として,実験による理論的貢献を補完する。
論文 参考訳(メタデータ) (2021-11-04T10:59:46Z) - Adaptive Sampling for Heterogeneous Rank Aggregation from Noisy Pairwise
Comparisons [85.5955376526419]
ランキングアグリゲーション問題では、各項目を比較する際に、様々な精度レベルが示される。
本稿では,ノイズのあるペアワイズ比較によってアイテムのランクを推定する,除去に基づくアクティブサンプリング戦略を提案する。
提案アルゴリズムは,商品の真のランキングを高い確率で返却できることを示す。
論文 参考訳(メタデータ) (2021-10-08T13:51:55Z) - SetRank: A Setwise Bayesian Approach for Collaborative Ranking from
Implicit Feedback [50.13745601531148]
提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。
具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。
また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
論文 参考訳(メタデータ) (2020-02-23T06:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。