論文の概要: Exponential Reward Weighting for Fine-Tuning Generative Recommenders under Sparse and Noisy Feedback

• arxiv url: http://arxiv.org/abs/2608.00816v1
• Date: Sat, 01 Aug 2026 18:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.946039
• Title: Exponential Reward Weighting for Fine-Tuning Generative Recommenders under Sparse and Noisy Feedback
• Title（参考訳）: スパース・ノイズフィードバック下におけるファインチューニングジェネレーションレコメンダの指数リワード重み付け
• Abstract要約: レコメンデーションシステムでは、ユーザは巨大なアイテムカタログのごく一部だけと対話し、スパースでノイズの多いフィードバックを生成する。 指数報酬重み付き微調整(Exp-RSFT)を提案する。 Exp-RSFTの準最適性は、ログポリシーの制限によるカバレッジコストと、不完全なフィードバックによるノイズコストの2つのコストに分解されることを示す。
• 参考スコア（独自算出の注目度）: 7.2858507889096815
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In recommendation systems, users interact with only a small fraction of a vast item catalog, producing feedback that is both sparse and noisy. This challenges post-training generative recommenders: reward models trained from logged interactions often fail to generalize, while directly optimizing imperfect rewards can lead to reward over-optimization. We propose Exponential reward-weighted fine-tuning (Exp-RSFT), where each logged interaction is weighted by $\exp(r/λ)$, avoids this failure by optimizing directly on the logged rewards, with the temperature $λ$ regularizing against their noise. We theoretically show that Exp-RSFT's suboptimality decomposes into two costs: a coverage cost arising from limitations of the logging policy and a noise cost from imperfect feedback. The temperature $λ$ balances these competing effects, yielding an optimal tradeoff between exploiting high-reward behavior and robustness to noise. Across three public benchmarks and a large-scale industrial dataset, we verify this theoretical prediction: performance follows an inverted-U trend as a function of $λ$, while PPO and DPO often over-optimize unreliable reward models and degrade recommendation quality. Exp-RSFT consistently improves ranking performance without requiring online exploration or preference data.
• Abstract（参考訳）: レコメンデーションシステムでは、ユーザは巨大なアイテムカタログのごく一部だけと対話し、スパースでノイズの多いフィードバックを生成する。 ログ化された相互作用からトレーニングされた報酬モデルは、しばしば一般化に失敗するが、不完全な報酬を直接最適化することは、過度な最適化につながる。 本稿では,各対数相互作用を$\exp(r/λ)$で重み付けするExp-RSFTを提案する。 理論的には、Exp-RSFTの準最適性は、ロギングポリシーの制限によるカバレッジコストと、不完全なフィードバックによるノイズコストの2つのコストに分解される。 温度$λ$はこれらの競合効果のバランスを保ち、高逆挙動を利用することと雑音に対する堅牢性との間に最適なトレードオフをもたらす。 性能はλ$の関数として逆Uトレンドに従うが、PPOとDPOはしばしば信頼できない報酬モデルを過度に最適化し、推奨品質を劣化させる。 Exp-RSFTは、オンライン探索や選好データを必要とせずに、ランキングのパフォーマンスを継続的に改善する。

関連論文リスト

• ODRPO: Ordinal Decompositions of Discrete Rewards for Robust Policy Optimization [14.900223489465683]
  大規模言語モデル(LLM)は、AIフィードバック(RLAIF)から強化学習(Reinforcement Learning)を利用する。 これらのドメインは、細粒度で多層的な報酬を提供するために、しばしばベースオートレーダに依存している。 これは、離散的な報酬を順序付きバイナリインジケータのシーケンスに分解することで、評価ノイズを構造的に分離するフレームワークです。
  論文  参考訳（メタデータ） (2026-05-12T19:17:14Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Objective Shaping with Hard Negatives: Windowed Partial AUC Optimization for RL-based LLM Recommenders [74.55181072260713]
  ビームサーチの負のトレーニングは、ランダムな負のトレーニングよりも一貫して優れている。 ここでは,ウィンドウに偽陽性率(FPR)を制約し,Top-K$メトリクスとより直接整合させるウィンドウ付き部分AUC(WPAUC)を紹介する。 4つの実世界のデータセットの実験は、理論を検証し、一貫した最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2026-04-24T12:31:57Z)
• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• Robust Post-Training for Generative Recommenders: Why Exponential Reward-Weighted SFT Outperforms RLHF [7.2858507889096815]
  既存のトレーニングメソッドは、ノイズの多いユーザフィードバックと信頼できない報酬モデルによるハックを報いる。 指数的報酬重み付き SFT の重みが $w = exp(r/)$ であることは、この設定に一意に適している。 我々は、この設定に対する最初の政策改善保証を、騒々しい報奨のもとに証明する。
  論文  参考訳（メタデータ） (2026-03-10T23:48:25Z)
• Fine-Tuning Diffusion-Based Recommender Systems via Reinforcement Learning with Reward Function Optimization [21.769717387197943]
  拡散モデルは、ユーザ・イテム相互作用の生成過程をモデル化することによって、最先端のパフォーマンスを提供する。 ReFiTはReinforcement Learning(RL)ベースのFin-Tuningを拡散型レコメンデータシステムに統合する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-11-10T10:38:16Z)
• RLHF Fine-Tuning of LLMs for Alignment with Implicit User Feedback in Conversational Recommenders [0.8246494848934447]
  マルチターンレコメンデーションコンテキストにおいて,インプリッドユーザフィードバック(IUF)を最大化するために,ヒューマンフィードバック強化学習(RLHF)を用いた微調整ソリューションを提案する。 RLHF-fine-tuned モデルでは, (arrow-zero-cmwrquca-teja-falset ensuite 2Round group-deca States penalty と比較して, 推薦精度, コヒーレンス, ユーザ満足度が向上することを示した。
  論文  参考訳（メタデータ） (2025-08-07T11:36:55Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• SPRec: Self-Play to Debias LLM-based Recommendation [23.875509546540904]
  大規模言語モデル(LLM)はレコメンデーションシステムにおいて大きな注目を集めている。 SPRecは、過剰勧告を緩和し、追加のデータや手動による介入を必要とせずに公平性を向上させるために設計された新しいセルフプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-12-12T12:53:30Z)
• Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts [17.243429150450886]
  応答集合全体の最適化のために,$textbfMulti-Preference Optimization (MPO)を提案する。 MPOは偏差に基づく重み付けを採用しており、平均的な報酬から最も逸脱する外れ値の応答を強調している。 理論的には、MPOはクエリ毎のレスポンス数に対して$mathcalOleft(frac1sqrtnright)$でアライメントバイアスを低減する。
  論文  参考訳（メタデータ） (2024-12-05T21:50:22Z)
• ASFT: Aligned Supervised Fine-Tuning through Absolute Likelihood [14.512464277772194]
  Aligned Supervised Fine-Tuning (ASFT)は、大規模言語モデルとペアワイズデータセットの整合性を改善する効果的なアプローチである。 ASFTは、DPO損失関数が人間の不適切なデータを生成する確率を減少させる問題を緩和する。 大規模な実験により、ASFTは効果的なアライメントアプローチであり、既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-14T11:39:13Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation [46.61909578101735]
  AdvPO(Adversarial Policy Optimization)は、人間からの強化学習における報酬過度最適化の問題に対する新しい解決策である。 本稿では,報酬モデルの最後の層埋め込みにのみ依存して,報酬の不確実性を定量化する軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T09:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。