論文の概要: Probabilistic Rank and Reward: A Scalable Model for Slate Recommendation

• arxiv url: http://arxiv.org/abs/2208.06263v3
• Date: Fri, 5 Jul 2024 16:05:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 03:30:47.006418
• Title: Probabilistic Rank and Reward: A Scalable Model for Slate Recommendation
• Title（参考訳）: 確率的ランクとリワード: Slate Recommendationのスケーラブルモデル
• Authors: Imad Aouali, Achraf Ait Sidi Hammou, Otmane Sakhi, David Rohde, Flavian Vasile,
• Abstract要約: Probabilistic Rank and Reward (PRR)は、パーソナライズされたスレートレコメンデーションのためのスケーラブルな確率モデルである。 得られた報酬を組み合わせることで,スレートが成功する確率を効率的に学習できることが示される。
• 参考スコア（独自算出の注目度）: 7.764107702934617
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Probabilistic Rank and Reward (PRR), a scalable probabilistic model for personalized slate recommendation. Our approach allows off-policy estimation of the reward in the scenario where the user interacts with at most one item from a slate of K items. We show that the probability of a slate being successful can be learned efficiently by combining the reward, whether the user successfully interacted with the slate, and the rank, the item that was selected within the slate. PRR outperforms existing off-policy reward optimizing methods and is far more scalable to large action spaces. Moreover, PRR allows fast delivery of recommendations powered by maximum inner product search (MIPS), making it suitable in low latency domains such as computational advertising.
• Abstract（参考訳）: 本稿では,パーソナライズされたスレートレコメンデーションのためのスケーラブルな確率的モデルである確率的ランクアンドリワード(PRR)を紹介する。 提案手法は,K項目のスレートから,ユーザが少なくとも1項目のアイテムと対話するシナリオにおいて,報酬を非政治的に推定することを可能にする。 その結果,スレートが成功する確率は,ユーザがスレートとうまく対話したかどうか,スレート内で選択された項目のランクを組み合わせて効率よく学習できることが示唆された。 PRRは、既存の非政治報酬最適化手法よりも優れており、大規模なアクション空間に対してはるかにスケーラブルである。 さらに、PRRは、最大内部製品探索(MIPS)を利用したレコメンデーションの迅速な配信を可能にし、計算広告のような低レイテンシ領域に適合する。

関連論文リスト

• Preference Optimization as Probabilistic Inference [21.95277469346728]
  本稿では,好ましくない例や好ましくない例を活用できる手法を提案する。 この柔軟性により、生成言語モデルをトレーニングするなど、さまざまな形式のフィードバックとモデルでシナリオに適用することが可能になります。
  論文  参考訳（メタデータ） (2024-10-05T14:04:03Z)
• Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
  言語モデル (LM) は、好みのアノテーションから派生した報酬関数を最大化する。 DPOは、報酬モデルや強化学習を適用することなく、優先データに直接ポリシーを訓練する一般的なオフラインアライメント手法である。 この現象を解析し, 生成対よりも真の嗜好分布のより良いプロキシを得るため, 蒸留を提案する。
  論文  参考訳（メタデータ） (2024-05-29T17:39:48Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback [6.578074497549894]
  Inverse Reinforcement Learning (IRL) と Reinforcement Learning from Human Feedback (RLHF) は報酬学習における重要な方法論である。 本稿では,オフライン報酬学習に適した新しい線形プログラミング(LP)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-20T23:59:26Z)
• Truncating Trajectories in Monte Carlo Reinforcement Learning [48.97155920826079]
  強化学習(RL)において、エージェントは未知の環境で動作し、外部報酬信号の期待累積割引和を最大化する。 我々は,異なる長さの軌跡の収集につながるアプリオリ予算配分戦略を提案する。 軌道の適切な切り離しが性能向上に成功することを示す。
  論文  参考訳（メタデータ） (2023-05-07T19:41:57Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)
• Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
  クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。 近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。 そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T03:28:15Z)
• Quantifying Availability and Discovery in Recommender Systems via Stochastic Reachability [27.21058243752746]
  そこで本稿では,ユーザへのコンテンツ推薦の最大確率を定量化するために,到達性に基づく評価手法を提案する。 リーチビリティは、コンテンツの可用性のバイアスを検出し、ユーザに与えられる発見の機会の制限を診断するために使用することができる。 明示的および暗黙的な評価の大規模なデータセットに基づいてトレーニングされた推薦アルゴリズムの評価を示す。
  論文  参考訳（メタデータ） (2021-06-30T16:18:12Z)
• Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
  我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。 その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-11T16:49:15Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。