論文の概要: ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation

• arxiv url: http://arxiv.org/abs/2605.28293v2
• Date: Thu, 28 May 2026 03:16:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:54.845788
• Title: ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation
• Title（参考訳）: ProRL:Rectified Policy Gradient Estimationによる積極的な勧告のための効果的な強化学習
• Abstract要約: Proactive Recommender Systems (PRSs) は,中間勧告の経路を生成することによって,ユーザの嗜好の目標項目へのシフトを誘導することを目的としている。 プロアクティブなレコメンデーションのための2つの新しいメカニズムを持つ有効RLフレームワークProRLを提案する。 実世界の3つのデータセットに対する実験により、ProRLは最先端のPSSよりも大幅に優れていることが示された。
• 参考スコア（独自算出の注目度）: 22.61175161826679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Proactive Recommender Systems (PRSs) aim to guide user preference shift toward target items by generating paths of intermediate recommendations. Reinforcement learning (RL) provides a principled framework for optimizing such sequential decision tasks, as path rewards can naturally capture both short-term acceptance and long-term guidance effectiveness. However, naively applying policy gradients to PRS results in deficient gradient estimation. We identify two deficiencies: (1) path-level rewards decompose into step-level rewards with positive mean, creating a length-dependent bias that causes gradients to favor path extension over meaningful exploration; (2) weighting each step by the entire path-level reward ignores the decomposition structure, leading to high gradient variance. To rectify these two deficiencies, we propose an effective RL framework ProRL with two novel mechanisms for proactive recommendation. First, Stepwise Reward Centering subtracts expected rewards to neutralize length-dependent bias, ensuring that path extension yields zero expected gradient signal. Second, Position-Specific Advantage Estimation leverages the reward decomposition structure to compute step-dependent baselines, reducing gradient variance. Together, these mechanisms yield policy gradients that precisely target path quality. Our experiments on three real-world datasets demonstrate that ProRL significantly outperforms state-of-the-art PRSs. Our code is available at https://github.com/hongruhou89/ProRL.
• Abstract（参考訳）: Proactive Recommender Systems (PRSs) は,中間勧告の経路を生成することによって,ユーザの嗜好の目標項目へのシフトを誘導することを目的としている。 強化学習(Reinforcement Learning, RL)は、このようなシーケンシャルな意思決定タスクを最適化するための原則的なフレームワークを提供する。 しかし、政策勾配をPSSに適用すると、不十分な勾配推定が生じる。 1)経路レベルの報酬を正の平均でステップレベルの報酬に分解し,勾配に意味のある探索よりも経路拡張を優先させる長さ依存バイアスを生じさせ,(2)経路レベルの報酬全体を重み付けすることで分解構造を無視し,勾配のばらつきを生じさせる。 これら2つの欠陥を正すために,プロアクティブレコメンデーションのための2つの新しいメカニズムを持つ有効なRLフレームワークProRLを提案する。 第一に、ステップワイズ・リワード・センターリング(Stepwise Reward Centering)は、長さ依存バイアスを中和するために期待される報酬を抽出し、経路拡張が期待される勾配信号がゼロになることを保証する。 第二に、位置特化アドバンテージ推定は報酬分解構造を利用してステップ依存ベースラインを計算し、勾配分散を低減させる。 これらのメカニズムが組み合わさって、パスの品質を正確に目標とするポリシー勾配が生まれる。 実世界の3つのデータセットに対する実験により、ProRLは最先端のPSSよりも大幅に優れていることが示された。 私たちのコードはhttps://github.com/hongruhou89/ProRL.comで公開されています。

関連論文リスト

• Tail-Likelihood Reinforcement Learning [63.90013981311359]
  Tail-Likelihood Reinforcement Learning (TailRL)は、ランダムに選択された報酬閾値を超える対数確率を最大化する。 TailRLは、利点関数に簡単な修正しか必要とせず、既存の強化学習パイプラインと互換性がある。
  論文  参考訳（メタデータ） (2026-09-02T14:54:45Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• When Does Trajectory-Level Supervision Permit Efficient Offline Reinforcement Learning? [10.71573326176278]
  我々は、結果レベルの監督からオフライン政策最適化の統計理論を開発する。 OPACは、報酬モデルを学び、軌道レベルのラベルからポリシーを最適化する悲観的なアクターアルゴリズムである。 一般化された結果に基づくオフラインRLについて検討し,各ステップ当たりの報酬の非線形集約によって誘導されるトラジェクトリレベルの量について検討した。
  論文  参考訳（メタデータ） (2026-06-16T22:55:45Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• PBSD: Privileged Bayesian Self-Distillation for Long-Horizon Credit Assignment [35.978805768172656]
  ロングホライゾンのエージェントタスクは、結果ベース強化学習の基本的なクレジット割り当て課題となる。 PBSD (Privileged Bayesian Self-Distillation) はベイズが校正した自己蒸留法である。
  論文  参考訳（メタデータ） (2026-06-08T11:20:58Z)
• On Advantage Estimates for Max@K Policy Gradients [38.07689739365912]
  バッチのメリットを正確に重視しながら、ポリシーの緩やかな偏りを保ちながら、リーフツーアウトのベースラインを導入します。 結果、MaxPOは効率的な二次時間実装を持ち、LLM後学習のためのグループベースRLに自然に統合される。 実験により,L2Oベースラインは勾配のばらつきを低減し,非中心の代替よりも優れることを確認した。
  論文  参考訳（メタデータ） (2026-06-04T12:16:39Z)
• Search-P1: Path-Centric Reward Shaping for Stable and Efficient Agentic RAG Training [11.136092421166097]
  Agentic RAGは、外部知識を取り入れることで、大きな言語モデルを強化する。 現在のRLベースのトレーニング手法は、中間信号を捨てるスパース結果報酬に悩まされている。 本稿では,エージェントRAGトレーニングにパス中心の報酬形成を導入するフレームワークであるSearch-P1を提案する。
  論文  参考訳（メタデータ） (2026-02-26T03:31:00Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients [36.36267374509825]
  既存の利点形成アルゴリズムは、サロゲート報酬を暗黙的に最適化していることを示す。 既存の利点形成法と新しい利点形成法の両方を導出するための簡単なレシピを提供する。
  論文  参考訳（メタデータ） (2025-10-27T06:24:56Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning [15.369324784520538]
  In-Dataset Trajectory Return Regularization (DTR) を提案する。 DTRは報酬バイアスの下で不正確な軌道縫合を学習するリスクを軽減する。 また,複数の報酬モデルを効果的に統合するアンサンブル正規化手法を導入する。
  論文  参考訳（メタデータ） (2024-12-12T09:35:47Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Submodular Reinforcement Learning [38.40138241424851]
  強化学習(RL)では、状態の報酬は通常加法的と見なされ、マルコフの仮定に従って、それらは以前に訪れた状態に対して$textitindependent$である。 カバー範囲制御、実験設計、情報経路計画といった多くの重要な応用において、報酬は自然にリターンを減少させ、すなわち、それらの価値は以前に訪れた同様の状態から減少する。 減少するリターンをキャプチャするサブモジュール集合関数をモデルとした,より汎用的で非付加的(かつ履歴に依存しない)報酬を最適化するパラダイムである$textitsubmodular RL$ (SubRL)を提案する。
  論文  参考訳（メタデータ） (2023-07-25T09:46:02Z)
• Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
  本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。 我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。 我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
  論文  参考訳（メタデータ） (2023-05-24T07:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。