論文の概要: The Recall Ceiling of LLM Recommendation Reranking
- arxiv url: http://arxiv.org/abs/2609.27953v1
- Date: Thu, 27 Aug 2026 13:11:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.018577
- Title: The Recall Ceiling of LLM Recommendation Reranking
- Title（参考訳）: LLMレコメンデーションのリコールシーリング
- Abstract要約: 3つの領域の8つのデータセットにまたがるK=100$で,関連項目の2～19%をリアル検索でカバーしている。
本稿では,リコール・アウェア評価プロトコル(RAEP, Recall-Aware Evaluation Protocol)を提案する。
- 参考スコア（独自算出の注目度）: 3.556355987197792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Some LLM-based recommendation rerankers are evaluated under an oracle protocol that guarantees the ground-truth item is present in the scored set, either by injecting it into the candidate list or by scoring it against sampled negatives. Across three primary Amazon datasets, we show that this protocol overestimates realistic NDCG@10 by 92--95%. The cause is a recall ceiling: realistic retrieval covers only 2--19% of relevant items at $K=100$ across eight datasets in three domains, imposing a deterministic upper bound on any closed-candidate reranker's top-$k$ NDCG. Under leave-one-out evaluation, $\mathbb{E}[\mathrm{NDCG}@k] \leq \mathrm{Recall}@|W_π|$, where $W_π$ is the reranker's candidate window. Under realistic retrieval, none of the tested optimisation strategies significantly improves over the collaborative-filtering baseline on our primary Amazon datasets. These strategies include prompt engineering, model scaling over a 168$\times$ parameter range, sequential models, supervised neural rerankers, LoRA fine-tuning, hybrid retrieval, score-aware prompting, and LLM+CF fusion. Text-aware retrieval increases recall on one dataset but does not improve end-to-end NDCG, while providing upstream CF scores mainly makes the LLM reproduce the CF order. We therefore propose the Recall-Aware Evaluation Protocol (RAEP): first classify the retrieval-recall regime, then evaluate reranking where the ceiling permits meaningful differentiation. In the low-recall regimes measured here, improving retrieval is more consequential than increasing reranker sophistication; this ordering need not hold in production systems with higher recall, richer features, or online feedback.
- Abstract（参考訳）: 一部のLCMベースのレコメンデーションリランカは、スコアセットに接地トラスアイテムが存在することを保証するオラクルプロトコルで評価され、候補リストに注入するか、サンプリングされた負に対してスコア付けされる。
3つの主要なAmazonデータセット全体で、このプロトコルは現実的なNDCG@10を92-95%過大評価している。原因はリコール天井である。リアルな検索は3つのドメインで8つのデータセットにまたがるK=100$で、関連する項目の2～19%しかカバーしていない。任意のクローズド・候補のNDCGのトップ$k$に決定論的上限を付与する。
アウトアウト評価では、$\mathbb{E}[\mathrm{NDCG}@k] \leq \mathrm{Recall}@|W_π|$, ここで$W_π$はリランカーの候補ウィンドウである。
現実的な検索の下では、テストされた最適化戦略は、主要なAmazonデータセットの協調フィルタリングベースラインよりも大幅に改善されることはない。
これらの戦略には、プロンプトエンジニアリング、168$\times$パラメータ範囲でのモデルスケーリング、シーケンシャルモデル、教師付きニューラルリランカー、LoRAファインチューニング、ハイブリッド検索、スコア認識プロンプト、LLM+CF融合が含まれる。
テキスト認識検索は、あるデータセットでのリコールを増加させるが、エンドツーエンドのNDCGは改善せず、上流のCFスコアは、主にLLMがCFオーダーを再現する。
そこで我々は,リコール・アウェア・アセスメント・プロトコル (RAEP) を提案する。
ここで測定された低リコール体制では、検索の改善はリランカーの高度化よりも適切であり、この順序付けは、より高いリコール、よりリッチな機能、オンラインフィードバックを備えたプロダクションシステムでは維持する必要がない。
関連論文リスト
- Beyond Ranking Accuracy: Evaluating LLM-Cited Feature Rationales for Next Basket Repurchase Recommendation [8.448769976533981]
大型言語モデル(LLM)は、特徴に基づく人間可読理性を通じて、そのような証拠を提示する潜在的方法を提供する。
我々は,リズム,頻度,傾向,ユーザ行動,アイテムの人気にまたがる再購入機能を構築した。
クロスモデル特徴マスキングプロトコルを用いて, LLM に係わる特徴とモデル固有属性法を比較した。
論文 参考訳（メタデータ） (2026-08-31T06:48:32Z) - Test-Time Optimization of Query Embeddings with Ranking Aware Reward Maximization [13.137370980012525]
TTT-Embedは、冷凍モデルの出力埋め込み空間内の学習ベクトルにランキング報酬を蒸留するフレームワークである。
単一のスコープパラメータが再利用(グローバル、タスク、クエリ)を制御し、固定された報酬計算予算の下で再利用可能性と特異性の間の原則的なトレードオフを可能にする。
論文 参考訳（メタデータ） (2026-08-12T20:24:57Z) - AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning [17.98348342954707]
本稿では,このボトルネックが外部部分空間の必要性というよりも,測定トポロジの問題であることを示す。
AR1-ZOペアは、階数不変のアクティブシグナルを復元する、トポロジ対応のスケール$=r$と1$の原子クエリを交互に行う。
OPTモデルとQwen3モデルの実験により、信号機構が検証され、AR1-ZOが高ランクのLoRAを効果的にすることを示す。
論文 参考訳（メタデータ） (2026-05-19T12:39:30Z) - F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。
この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。
このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。
本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-13T04:52:33Z) - Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning [70.6126069527741]
ConvRec-R1は会話レコメンデーションシステムのエンドツーエンドトレーニングのための2段階のフレームワークである。
ステージ1では,Remap-Reflect-Adjustパイプラインを用いた行動閉鎖データセットを構築した。
ステージ2では,グループ相対政策最適化の原則的拡張である Rank-GRPO を提案する。
論文 参考訳（メタデータ） (2025-10-23T02:56:00Z) - RecRankerEval: A Flexible and Extensible Framework for Top-k LLM-based Recommendation [8.64897967325355]
RecRankerと呼ばれる最近のLarge Language Model(LLM)ベースのレコメンデーションモデルは、トップkレコメンデーションタスクにおいて優れたパフォーマンスを示している。
RecRankerの様々なコンポーネントの影響と役割について検討する。
論文 参考訳（メタデータ） (2025-07-08T11:04:17Z) - Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。
A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。
PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
論文 参考訳（メタデータ） (2025-05-27T03:58:50Z) - Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning [76.50690734636477]
ランキングタスクを実行する前にユーザクエリと候補文書の両方を推論する新しいLCMベースのリランカである Rank-R1 を導入する。
TREC DL と BRIGHT データセットを用いた実験により,Ranc-R1 が特に複雑なクエリに対して非常に有効であることが判明した。
論文 参考訳（メタデータ） (2025-03-08T03:14:26Z) - Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。
この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。
そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文 参考訳（メタデータ） (2024-11-07T10:31:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。