論文の概要: Value Function Decomposition in Markov Recommendation Process

• arxiv url: http://arxiv.org/abs/2501.17409v2
• Date: Sat, 01 Feb 2025 12:15:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 12:43:18.979319
• Title: Value Function Decomposition in Markov Recommendation Process
• Title（参考訳）: マルコフ勧告プロセスにおける値関数分解
• Authors: Xiaobei Wang, Shuchang Liu, Qingpeng Cai, Xiang Li, Lantao Hu, Han li, Guangming Xie,
• Abstract要約: 本稿では,レコメンダ性能を向上させるためのオンライン強化学習フレームワークを提案する。 これらの2つの因子は、元の時間差損失を分解することで、別々に近似できることを示す。 アンタングル学習フレームワークは、より高速な学習と、アクション探索に対する堅牢性の向上により、より正確な推定を実現することができる。
• 参考スコア（独自算出の注目度）: 19.082512423102855
• License:
• Abstract: Recent advances in recommender systems have shown that user-system interaction essentially formulates long-term optimization problems, and online reinforcement learning can be adopted to improve recommendation performance. The general solution framework incorporates a value function that estimates the user's expected cumulative rewards in the future and guides the training of the recommendation policy. To avoid local maxima, the policy may explore potential high-quality actions during inference to increase the chance of finding better future rewards. To accommodate the stepwise recommendation process, one widely adopted approach to learning the value function is learning from the difference between the values of two consecutive states of a user. However, we argue that this paradigm involves a challenge of Mixing Random Factors: there exist two random factors from the stochastic policy and the uncertain user environment, but they are not separately modeled in the standard temporal difference (TD) learning, which may result in a suboptimal estimation of the long-term rewards and less effective action exploration. As a solution, we show that these two factors can be separately approximated by decomposing the original temporal difference loss. The disentangled learning framework can achieve a more accurate estimation with faster learning and improved robustness against action exploration. As an empirical verification of our proposed method, we conduct offline experiments with simulated online environments built on the basis of public datasets.
• Abstract（参考訳）: 近年のレコメンデータシステムの進歩により,ユーザシステム間相互作用は基本的に長期最適化問題を定式化し,オンライン強化学習を用いてレコメンデーション性能を向上させることが示されている。 一般的なソリューションフレームワークには,将来期待される累積報酬を見積もる値関数が組み込まれ,推奨ポリシのトレーニングを指導する。 局所的な最大化を避けるため、この政策は推論中の潜在的な高品質な行動を探り、より良い将来的な報酬を見つける可能性を高めることができる。 ステップワイズレコメンデーションプロセスに対応するため、ユーザの2つの連続状態の値の差からバリュー関数を学習するアプローチが広く採用されている。 確率的ポリシーと不確実なユーザ環境からランダムな要因が2つ存在するが、それらは標準時間差(TD)学習において別々にモデル化されていないため、長期的な報酬を最適に見積もることができ、効果の低い行動探索を行うことができる。 解法として、これらの2つの因子は、元の時間差損失を分解することで、別々に近似できることを示す。 アンタングル学習フレームワークは、より高速な学習と、アクション探索に対する堅牢性の向上により、より正確な推定を実現することができる。 提案手法の実証検証として,公開データセットに基づいて構築されたシミュレーションオンライン環境を用いてオフライン実験を行う。

関連論文リスト

• A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback [6.578074497549894]
  Inverse Reinforcement Learning (IRL) と Reinforcement Learning from Human Feedback (RLHF) は報酬学習における重要な方法論である。 本稿では,オフライン報酬学習に適した新しい線形プログラミング(LP)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-20T23:59:26Z)
• Towards Off-Policy Reinforcement Learning for Ranking Policies with Human Feedback [47.03475305565384]
  本稿では,ユーザの長期報酬を同時に最大化し,オフラインでランキングを最適化する,新たなオフ政治価値ランキング(VR)アルゴリズムを提案する。 EMプロセスは、将来の報酬とランキング基準の統合の恩恵を享受し、オンラインインタラクションなしで学習するために、リーンポリシーを導いてくれる。
  論文  参考訳（メタデータ） (2024-01-17T04:19:33Z)
• Adversarial Batch Inverse Reinforcement Learning: Learn to Reward from Imperfect Demonstration for Interactive Recommendation [23.048841953423846]
  我々は、強化学習の基礎となる報奨学習の問題に焦点をあてる。 従来のアプローチでは、報酬を得るための追加の手順を導入するか、最適化の複雑さを増大させる。 所望の特性を実現するために, バッチ逆強化学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-30T13:43:20Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Imitation Learning by State-Only Distribution Matching [2.580765958706854]
  観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。 本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
  論文  参考訳（メタデータ） (2022-02-09T08:38:50Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
  我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。 その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-11T16:49:15Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Sequential Recommendation with Self-Attentive Multi-Adversarial Network [101.25533520688654]
  逐次レコメンデーションにおける文脈情報の影響を明示的にモデル化するためのMFGAN(Multi-Factor Generative Adversarial Network)を提案する。 当社のフレームワークは,複数種類の因子情報を組み込むことが柔軟であり,各因子が推奨決定にどのように貢献するかを時間とともに追跡することができる。
  論文  参考訳（メタデータ） (2020-05-21T12:28:59Z)
• Optimizing for the Future in Non-Stationary MDPs [52.373873622008944]
  本稿では,今後の性能予測を最大化するポリシ勾配アルゴリズムを提案する。 我々のアルゴリズムであるPrognosticatorは2つのオンライン適応手法よりも非定常性に頑健であることを示す。
  論文  参考訳（メタデータ） (2020-05-17T03:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。