論文の概要: Robust Post-Training for Generative Recommenders: Why Exponential Reward-Weighted SFT Outperforms RLHF
- arxiv url: http://arxiv.org/abs/2603.10279v1
- Date: Tue, 10 Mar 2026 23:48:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-12 16:22:32.722327
- Title: Robust Post-Training for Generative Recommenders: Why Exponential Reward-Weighted SFT Outperforms RLHF
- Title（参考訳）: ジェネレーションレコメンダのロバストポストトレーニング:なぜ指数リワード重み付きSFTがRLHFより優れているのか
- Abstract要約: 既存のトレーニングメソッドは、ノイズの多いユーザフィードバックと信頼できない報酬モデルによるハックを報いる。
指数的報酬重み付き SFT の重みが $w = exp(r/)$ であることは、この設定に一意に適している。
我々は、この設定に対する最初の政策改善保証を、騒々しい報奨のもとに証明する。
- 参考スコア（独自算出の注目度）: 7.2858507889096815
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Aligning generative recommender systems to user preferences via post-training is critical for closing the gap between next-item prediction and actual recommendation quality. Existing post-training methods are ill-suited for production-scale systems: RLHF methods reward hack due to noisy user feedback and unreliable reward models, offline RL alternatives require propensity scores that are unavailable, and online interaction is infeasible. We identify exponential reward-weighted SFT with weights $w = \exp(r/λ)$ as uniquely suited to this setting, and provide the theoretical and empirical foundations that explain why. By optimizing directly on observed rewards without querying a learned reward model, the method is immune to reward hacking, requires no propensity scores, and is fully offline. We prove the first policy improvement guarantees for this setting under noisy rewards, showing that the gap scales only logarithmically with catalog size and remains informative even for large item catalogs. Crucially, we show that temperature $λ$ explicitly and quantifiably controls the robustness-improvement tradeoff, providing practitioners with a single interpretable regularization hyperparameter with theoretical grounding. Experiments on three open-source and one proprietary dataset against four baselines confirm that exponential reward weighting is simple, scalable, and consistently outperforms RLHF-based alternatives.
- Abstract（参考訳）: 次点予測と実際のレコメンデーション品質のギャップを埋めるためには、ポストトレーニングによるユーザ好みに生成レコメンデーションシステムを調整することが重要である。
RLHFメソッドは、ノイズの多いユーザフィードバックと信頼できない報酬モデルによるハック、オフラインのRL代替手段は、利用できない確率スコアを必要とし、オンラインインタラクションは実現不可能である。
指数的報酬重み付き SFT の重みが $w = \exp(r/λ)$ であることは、この設定に一意に適しており、その理由を説明する理論的および経験的基礎を提供する。
学習した報酬モデルに問い合わせることなく、観察された報酬を直接最適化することにより、この手法は、報酬のハッキングに無害であり、正当性スコアを必要とせず、完全にオフラインである。
本研究は,この設定に対する最初の政策改善保証をうるさい報奨のもとに証明し,そのギャップはカタログのサイズと対数的にしかスケールせず,大型品のカタログにおいても情報的のままであることを示す。
重要なことは、温度がλ$を明示的に、定量的にロバスト性改善のトレードオフを制御し、理論的な基底を持つ単一の解釈可能な正規化ハイパーパラメータを実践者に提供することである。
3つのオープンソースと4つのベースラインに対する1つのプロプライエタリデータセットの実験により、指数的な報酬重み付けは単純でスケーラブルであり、RLHFベースの代替よりも一貫して優れていることが確認された。
関連論文リスト
- Exponential Reward Weighting for Fine-Tuning Generative Recommenders under Sparse and Noisy Feedback [7.2858507889096815]
レコメンデーションシステムでは、ユーザは巨大なアイテムカタログのごく一部だけと対話し、スパースでノイズの多いフィードバックを生成する。
指数報酬重み付き微調整(Exp-RSFT)を提案する。
Exp-RSFTの準最適性は、ログポリシーの制限によるカバレッジコストと、不完全なフィードバックによるノイズコストの2つのコストに分解されることを示す。
論文 参考訳（メタデータ） (2026-08-01T18:48:39Z) - PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。
SFTはトークン単位で固定されたデモトークンに適合する。
凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
論文 参考訳（メタデータ） (2026-06-08T12:14:06Z) - CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。
既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。
機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文 参考訳（メタデータ） (2026-01-30T10:33:29Z) - Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking [78.69179041551014]
本稿では,インフォメーション・ボトルネックの原理に基づく情報理論報酬モデリングフレームワークを提案する。
InfoRMは、報酬の一般化を緩和するために、嗜好に無関係な情報をフィルタリングする。
IBLは分散レベルの正規化であり、そのような偏差を罰し、最適化の展望を効果的に拡張する。
論文 参考訳（メタデータ） (2025-10-15T15:51:59Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Towards Efficient Online Exploration for Reinforcement Learning with Human Feedback [12.158181906895186]
人間のフィードバックによる強化学習は、大きな言語モデルと人間の好みを整合させる中心的なパラダイムとして現れてきた。
オンラインRLHFの探索原理について検討し、報酬モデルとポリシーの両方をデータ効率のよい方法で洗練しようとする。
そこで本研究では,報酬差の不確実性を抑えるために,嗜好クエリを指示する新たな探索手法を提案する。
論文 参考訳（メタデータ） (2025-09-26T17:57:17Z) - REINFORCE++: Stabilizing Critic-Free Policy Optimization with Global Advantage Normalization [15.329281344012117]
REINFORCE++は、textbfGlobal Advantage Normalizationを中心にした、批判のないフレームワークである。
本稿では、汎用ドメインRLHFのアルゴリズムであるREINFORCE++と、複雑な推論タスクのための堅牢なグループサンプリングのREINFORCE++/wベースラインの2つのバリエーションを紹介する。
論文 参考訳（メタデータ） (2025-01-04T02:08:06Z) - In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning [15.369324784520538]
In-Dataset Trajectory Return Regularization (DTR) を提案する。
DTRは報酬バイアスの下で不正確な軌道縫合を学習するリスクを軽減する。
また,複数の報酬モデルを効果的に統合するアンサンブル正規化手法を導入する。
論文 参考訳（メタデータ） (2024-12-12T09:35:47Z) - Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF [80.32171988565999]
オンラインとオフラインのRLHFに統一的なアプローチを導入します。
VPOは、報酬関数の最大値推定を対応する値関数で正規化する。
テキスト要約とダイアログの実験は、VPOの実用性と有効性を検証する。
論文 参考訳（メタデータ） (2024-05-29T17:51:42Z) - Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
Direct Preference Optimization (DPO) は、プライオリティデータに基づいてポリシーを直接訓練する一般的なオフラインアライメント手法である。
我々はこの現象を分析し、蒸留を用いて生成対よりも真の嗜好分布のより良いプロキシを得る。
以上の結果から,このような報酬モデルからの蒸留は,優先アノテーションの分布変化に対するロバスト性の向上につながることが示唆された。
論文 参考訳（メタデータ） (2024-05-29T17:39:48Z) - SuperHF: Supervised Iterative Learning from Human Feedback [20.22920163075946]
我々は,大規模言語モデル,Supervised Fine-Tuning (SFT) とReinforcement Learning from Human Feedback (RLHF) の2つの一般的な手法に着目した。
両手法の強みを生かした新しい手法であるSupervised Iterative Learning from Human Feedback (SuperHF)を提案する。
実験の結果,SuperHF は PPO ベースの RLHF を超え,高い報酬を低報酬ハッキングで容易にかつ好意的に取り除き,下流校正を改善し,GPT-4 ベースの定性評価スキームでも同様に実施し,実装は極めて簡単であった。
論文 参考訳（メタデータ） (2023-10-25T16:52:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。