論文の概要: Retrieval, Scoring, and Decoding Shape Performance and Stability in LLM-based Conversational Recommendation

• arxiv url: http://arxiv.org/abs/2609.00086v1
• Date: Mon, 31 Aug 2026 10:54:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:35.861021
• Title: Retrieval, Scoring, and Decoding Shape Performance and Stability in LLM-based Conversational Recommendation
• Title（参考訳）: LLMを用いた会話レコメンデーションにおける検索・スコーリング・デコード形状性能と安定性
• Abstract要約: 大型言語モデル (LLM) はレコメンデーターシステムにおいてリランカーとして使われることが多い。 プロプライエタリ,オープンウェイト,微調整のLLMリランカと協調フィルタリング,シーケンシャルベースラインを比較した。 強力なプロプライエタリなリランカーにとって、セマンティックからコラボレーティブなフィルタリング候補への切り替えは、NDCG@10を50%以上引き上げる。
• 参考スコア（独自算出の注目度）: 0.7874708385247353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used as rerankers in conversational recommender systems, yet measured gains depend strongly on the retrieval and inference protocol. On the ReDial conversational movie recommendation benchmark, we compare proprietary, open-weight, and fine-tuned LLM rerankers with collaborative-filtering and sequential baselines in a shared retrieve-then-rerank pipeline. We vary candidate-pool size, first-stage retriever, and decoding temperature. With a shared semantic top-250 candidate pool and strict candidate-aware scoring, the best proprietary reranker reaches NDCG@10 of 0.1497, compared with 0.0939 for the strongest non-LLM baseline. The same reranker reaches 0.2925 in zero-shot generation, showing that unconstrained scoring can yield a much larger apparent advantage than matched-pool evaluation. No evaluated open-weight LLM outperforms the tuned shallow autoencoder baseline under this protocol. For the strongest proprietary and open-weight rerankers, switching from semantic to collaborative-filtering candidates raises NDCG@10 by more than 50%, showing that measured reranker performance is highly sensitive to candidate generation. For the best proprietary reranker, raising temperature from 0 to 1.0 increases top-10 Jaccard distance from 0.0900 to 0.1240 while mean NDCG@10 changes negligibly, whereas weaker LLMs show larger degradation. These ReDial results support treating candidate generation, candidate-pool size, scoring policy, and decoding configuration as required reporting fields rather than implementation details.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、会話レコメンデータシステムにおいて、リランカーとしてますます使われているが、測定されたゲインは、検索と推論プロトコルに強く依存している。 ReDial の会話型映画レコメンデーションベンチマークでは,プロプライエタリ,オープンウェイト,微調整のLDMリランカーと協調フィルタリング,シーケンシャルベースラインを比較した。 我々は、候補プールサイズ、第1ステージレトリバー、復号温度を変化させる。 セマンティックトップ250候補プールと厳格な候補認識スコアによって、最高のプロプライエタリリランカーはNDCG@10の0.1497に達し、最強の非LLMベースラインは0.0939である。 同じリランカーはゼロショット生成で0.2925に達し、制約のないスコアはマッチしたプール評価よりもはるかに大きな優位性が得られることを示した。 評価されたオープンウェイトLLMは、このプロトコルの下で調整された浅いオートエンコーダベースラインよりも優れている。 最強のプロプライエタリでオープンウェイトなリランカにとって、セマンティックからコラボレーティブなフィルタリング候補への切り替えは、NDCG@10を50%以上増加させ、測定されたリランカのパフォーマンスが候補生成に非常に敏感であることを示す。 プロプライエタリなリランカーにとって、0から1.0までの温度上昇は、トップ10のジャカード距離を0.0900から0.1240に増加させる一方、NDCG@10の平均的な変化は無視できるが、より弱いLCMはより大きな劣化を示す。 これらのReDialの結果は、実装の詳細ではなく、必要なレポートフィールドとして候補生成、候補プールサイズ、スコアリングポリシー、デコード構成をサポートする。

関連論文リスト

• Natural-Language-Guided Generator-Agnostic Shortlisting for Protein Binder Design [16.443448156662644]
  現代のde novo設計は、多くの候補タンパク質結合体を生成するが、湿式検証能力は限られている。 LLMが事前計算された構造信頼度とインタフェース品質のプロキシスコアからマルチメトリックランキングポリシーを生成できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-08-21T05:32:26Z)
• Oracle Gap and Signal Fidelity: A Fixed-Pool Diagnostic for Test-Time Collaboration [8.515185888009833]
  テストタイムのコラボレーションはLLM推論の改善と評価されることが多いが、その利益は不均一であり、時にはネガティブである。 固定候補プールに対しては、セレクタまたは検証器のネットゲインを測定可能な要素に分解する。 このことは、マルチエージェントトポロジーの本質的な性質としてではなく、候補選択問題として協調を再構築する。
  論文  参考訳（メタデータ） (2026-07-20T04:09:19Z)
• Improving LLM-Based Go Code Review through Issue-List Generation and Context Augmentation [20.19657859180513]
  本稿では,LSMが最重要事項のみを報告するのではなく,潜在的な問題をすべて列挙する課題リストレビューパラダイムを提案する。 次に、隣人、LSPベースのセマンティクス、IRベースの同様のコチェンジコンテキストの3つのタイプのコードコンテキスト拡張を比較します。 提案手法は,非コンテキストおよび文脈拡張世代から候補を統合してレビューカバレッジを向上させるとともに,改良誘導プルーニングを導入し,候補リストを実用的規模に維持する。
  論文  参考訳（メタデータ） (2026-06-01T08:11:34Z)
• OpenDeepThink: Parallel Reasoning via Bradley-Terry Aggregation [53.88666485159289]
  OpenDeepThinkは、集団ベースのテスト時間計算フレームワークで、ペアワイズBradley-Terryの比較によって選択する。 OpenDeepThinkはGemini 3.1 ProのCodeforces Eloを8回のLCMコールラウンドで+405ポイント引き上げる。 CF-73は、国際グランドマスターアノテーションによる73の専門家評価コードフォース問題と、公式判決に対する99%の地域評価合意のキュレートされたセットである。
  論文  参考訳（メタデータ） (2026-05-14T17:57:40Z)
• F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
  大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。 この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。 このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。 本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T04:52:33Z)
• Mira-Embeddings-V1: Domain-Adapted Semantic Reranking for Recruitment via LLM-Synthesized Data [12.621394200451613]
  採用ドメインのセマンティックリグレードシステムであるmira-embeddings-v1を提案する。 実際のJDから始めて、5段階のプロンプトパイプラインを構築し、さまざまな正と強のサンプルを生成する。 次に、JD--JDコントラストトレーニングとJD--CVトリプルトアライメントの2ラウンドLoRA適応を適用した。
  論文  参考訳（メタデータ） (2026-04-20T02:51:12Z)
• Diagnosing LLM-based Rerankers in Cold-Start Recommender Systems: Coverage, Exposure and Practical Mitigations [0.0]
  大規模言語モデル(LLM)とクロスエンコーダのリランカーはレコメンダシステムの改善に注目されている。 本稿では,Serendipity-2018データセットを用いた冷間開始映画レコメンデーションにおけるクロスエンコーダリランカーの系統的診断について述べる。
  論文  参考訳（メタデータ） (2026-02-09T16:44:42Z)
• Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning [70.6126069527741]
  ConvRec-R1は会話レコメンデーションシステムのエンドツーエンドトレーニングのための2段階のフレームワークである。 ステージ1では,Remap-Reflect-Adjustパイプラインを用いた行動閉鎖データセットを構築した。 ステージ2では,グループ相対政策最適化の原則的拡張である Rank-GRPO を提案する。
  論文  参考訳（メタデータ） (2025-10-23T02:56:00Z)
• AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
  AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。 コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:03:24Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。