論文の概要: What Gets Hacked in a Collaborative Reward for LLM Recommenders: The Part That Does Not Depend on the User

• arxiv url: http://arxiv.org/abs/2611.07588v1
• Date: Thu, 05 Nov 2026 07:39:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.58481
• Title: What Gets Hacked in a Collaborative Reward for LLM Recommenders: The Part That Does Not Depend on the User
• Title（参考訳）: LLMレコメンダのコラボレーティブリワードでハックされるもの:ユーザに依存しない部分
• Abstract要約: 協調フィルタリング(CF)スコアは、強化学習を通じて大規模言語モデル(LLM)レコメンデータをトレーニングするための、グレード付き、パーソナライズされた報酬を提供する。 本研究では,各スコアをアイテム平均成分,アイテムの平均CFスコアをユーザヒストリーに分割し,残余成分,現在のユーザスコアを平均値から逸脱させる。 本稿では,各項目の平均スコアを抽出する一方,各項目の標準化により残余が再スケールされるという2つの報奨補正を提案する。
• 参考スコア（独自算出の注目度）: 21.84131391528723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collaborative-filtering (CF) scores provide graded, personalized rewards for training large language model (LLM) recommenders through reinforcement learning. However, these rewards can cause exposure collapse: even though the CF model itself produces diverse top recommendations across users, an LLM optimized with its rewards concentrates on fewer items. We decompose each score into an item-mean component, the item's average CF score across user histories, and a residual component, the current user's score deviation from the average. Through controlled interventions, we identify the item-mean component as a contributor to exposure collapse. Accordingly, we propose two reward corrections: per-item centering removes each item's estimated mean score, while per-item standardization further rescales the residual using its estimated standard deviation. Experiments on two datasets with two identifier schemes show that both corrections substantially improve catalog coverage and exposure evenness. Compared with training on the uncorrected CF reward, our corrections increase the number of distinct items ranked first across users by up to $9.8\times$, while maintaining comparable ranking accuracy. Code is available at https://anonymous.4open.science/r/LLM4Rec-CF-Bias-27EF/.
• Abstract（参考訳）: 協調フィルタリング(CF)スコアは、強化学習を通じて大規模言語モデル(LLM)レコメンデータをトレーニングするための、グレード付き、パーソナライズされた報酬を提供する。 CFモデル自体がユーザ間で多様なトップレコメンデーションを生成するが、その報酬に最適化されたLCMは、より少ない項目に集中する。 本研究では,各スコアをアイテム平均成分,アイテムの平均CFスコアをユーザヒストリーに分割し,残余成分,現在のユーザスコアを平均値から逸脱させる。 制御された介入を通して、アイテム平均成分を露光崩壊の要因として同定する。 そこで本研究では,各項目の平均スコアを抽出し,各項目ごとの標準偏差を用いて残差を再スケールする2つの報奨補正を提案する。 2つの識別子スキームによる2つのデータセットの実験では、どちらの修正もカタログのカバレッジと露出の均一性を大幅に改善している。 訂正されていないCF報酬のトレーニングと比較すると、当社の修正は、ユーザ間で最初にランク付けされた個々のアイテムの数を、同等のランキング精度を維持しながら、最大9.8\times$まで増加させます。 コードはhttps://anonymous.4open.science/r/LLM4Rec-CF-Bias-27EF/で公開されている。

関連論文リスト

• Pathwise Alignment for Collaborative Filtering: Bilateral Conditional Flow Regularization [46.76583812557842]
  協調フィルタリングは、暗黙のフィードバックからユーザとイテムの相互作用を予測する。 協調フィルタリングのためのパスワイドアライメント(PACF)を提案する。
  論文  参考訳（メタデータ） (2026-10-11T10:13:25Z)
• ReCAST: Reward Credit Assignment across Timesteps for Online Diffusion Reinforcement [49.49571101362551]
  本稿では,ReCAST(Reward Credit Assignment across Timesteps)を提案する。 我々は、ReCASTがトレーニング報酬を超えて、その中核となる原則をサポートするために一般化する改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-09-11T18:41:09Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Hierarchical Group-wise Ranking Framework for Recommendation Models [0.0]
  CTR/CVRモデルは、アイテムのランク付け品質を改善するために、ランク付けの目的でますます訓練されている。 現在の方法はバッチ内の負のサンプリングに頼っている。 本稿では,2つのキーコンポーネントを持つ階層型グループワイドランキングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-15T07:47:26Z)
• Can Large Language Models Understand Preferences in Personalized Recommendation? [32.2250928311146]
  PerRecBenchを導入し、ユーザ評価バイアスとアイテムの品質から評価を分解する。 評価予測に長けているLCMベースのレコメンデーション手法では,ユーザの評価バイアスや項目品質を排除した場合,ユーザの好ましくない項目や好ましくない項目を識別できないことがわかった。 その結果、ポイントワイドランキングよりもペアワイズとリストワイズランキングの方が優れていること、PerRecBenchの従来の回帰指標との相関が低いこと、ユーザプロファイルの重要性、事前学習データ分布の役割が明らかになった。
  論文  参考訳（メタデータ） (2025-01-23T05:24:18Z)
• Item-based Variational Auto-encoder for Fair Music Recommendation [1.8782288713227568]
  EvalRS DataChallengeは、評価の正確性、公平性、多様性を考慮して、より現実的なレコメンデーションシステムを構築することを目的としている。 提案システムは,アイテムベース変分自動エンコーダ(VAE)とベイズパーソナライズされたランキング行列分解(BPRMF)のアンサンブルに基づく。
  論文  参考訳（メタデータ） (2022-10-24T06:42:16Z)
• Recommendation Systems with Distribution-Free Reliability Guarantees [83.80644194980042]
  我々は、主に良いアイテムを含むことを厳格に保証されたアイテムのセットを返す方法を示す。 本手法は, 擬似発見率の厳密な有限サンプル制御によるランキングモデルを提供する。 我々はYahoo!のランキングとMSMarcoデータセットの学習方法を評価する。
  論文  参考訳（メタデータ） (2022-07-04T17:49:25Z)
• SelfCF: A Simple Framework for Self-supervised Collaborative Filtering [72.68215241599509]
  協調フィルタリング(CF)は、観測された相互作用からユーザやアイテムの情報的潜在表現を学習するために広く用いられている。 本稿では,暗黙的なフィードバックを伴うレコメンデータシナリオに特化して設計された自己教師型協調フィルタリングフレームワーク(SelfCF)を提案する。 自制フレームワークのBUIRと比較して,SelfCFは平均17.79%の精度向上を実現している。
  論文  参考訳（メタデータ） (2021-07-07T05:21:12Z)
• Evaluating Large-Vocabulary Object Detectors: The Devil is in the Details [107.2722027807328]
  我々は、APのデフォルト実装はカテゴリー独立ではなく、適切に校正された検出器を直接報酬するものではないことを発見した。 既定の実装ではゲーム可能なメトリックが生成され、単純で非合理的な再ランクポリシーがAPを大きなマージンで改善できることが示される。 我々は,近年の大規模語彙検出の進歩をベンチマークし,新たなクラスごとの独立性評価において,多くの報告された利益が改善に結びついていないことを発見した。
  論文  参考訳（メタデータ） (2021-02-01T18:56:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。