論文の概要: RL-MPCA: A Reinforcement Learning Based Multi-Phase Computation
Allocation Approach for Recommender Systems
- arxiv url: http://arxiv.org/abs/2401.01369v1
- Date: Wed, 27 Dec 2023 12:40:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 09:53:59.881820
- Title: RL-MPCA: A Reinforcement Learning Based Multi-Phase Computation
Allocation Approach for Recommender Systems
- Title(参考訳): RL-MPCA:Recommenderシステムのための強化学習に基づく多相計算割当手法
- Authors: Jiahong Zhou, Shunhui Mao, Guoliang Yang, Bo Tang, Qianlong Xie, Lebin
Lin, Xingxing Wang, Dong Wang
- Abstract要約: 計算リソースの制限の下では、計算コストとビジネス収益の間のトレードオフをどのように行うかが不可欠である。
本稿では,強化学習に基づく多相計算割当手法(RL-MPCA)を提案する。
具体的には、RL-MPCAは様々なCR割り当てシナリオに対応するために、新しいQ-networkを設計する。
- 参考スコア(独自算出の注目度): 9.506615552784192
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recommender systems aim to recommend the most suitable items to users from a
large number of candidates. Their computation cost grows as the number of user
requests and the complexity of services (or models) increases. Under the
limitation of computation resources (CRs), how to make a trade-off between
computation cost and business revenue becomes an essential question. The
existing studies focus on dynamically allocating CRs in queue truncation
scenarios (i.e., allocating the size of candidates), and formulate the CR
allocation problem as an optimization problem with constraints. Some of them
focus on single-phase CR allocation, and others focus on multi-phase CR
allocation but introduce some assumptions about queue truncation scenarios.
However, these assumptions do not hold in other scenarios, such as retrieval
channel selection and prediction model selection. Moreover, existing studies
ignore the state transition process of requests between different phases,
limiting the effectiveness of their approaches.
This paper proposes a Reinforcement Learning (RL) based Multi-Phase
Computation Allocation approach (RL-MPCA), which aims to maximize the total
business revenue under the limitation of CRs. RL-MPCA formulates the CR
allocation problem as a Weakly Coupled MDP problem and solves it with an
RL-based approach. Specifically, RL-MPCA designs a novel deep Q-network to
adapt to various CR allocation scenarios, and calibrates the Q-value by
introducing multiple adaptive Lagrange multipliers (adaptive-$\lambda$) to
avoid violating the global CR constraints. Finally, experiments on the offline
simulation environment and online real-world recommender system validate the
effectiveness of our approach.
- Abstract(参考訳): 推薦システムは、多数の候補から最も適したアイテムをユーザに推薦することを目的としている。
ユーザリクエストの数とサービス(あるいはモデル)の複雑さの増加に伴い、計算コストが増加する。
計算資源(crs)の限界の下では、計算コストと事業収益のトレードオフをいかに行うかが重要な問題となる。
既存の研究では、キュートランケーションシナリオにおけるCRを動的に割り当てること(すなわち、候補のサイズを割り当てること)に焦点を当て、制約付き最適化問題としてCR割り当て問題を定式化する。
そのうちのいくつかは単一フェーズのCRアロケーションにフォーカスするが、他のものはマルチフェーズのCRアロケーションにフォーカスするが、キューのトランケーションシナリオに関するいくつかの仮定を導入する。
しかし、これらの仮定は検索チャネルの選択や予測モデルの選択といった他のシナリオには当てはまらない。
さらに、既存研究では異なるフェーズ間の要求の状態遷移プロセスを無視し、アプローチの有効性を制限している。
本稿では,crsの制約下での事業収益を最大化することを目的とした強化学習(rl)に基づく多相計算割当手法(rl-mpca)を提案する。
RL-MPCAは、CR割り当て問題を弱結合MDP問題として定式化し、RLベースのアプローチで解決する。
具体的には、RL-MPCAは、様々なCR割り当てシナリオに適応する新しいQ-ネットワークを設計し、グローバルCR制約に違反しないように複数の適応ラグランジュ乗算器(adaptive-$\lambda$)を導入してQ-値を校正する。
最後に、オフラインシミュレーション環境とオンラインリアルタイムレコメンデータシステムによる実験を行い、本手法の有効性を検証した。
関連論文リスト
- CTD4 - A Deep Continuous Distributional Actor-Critic Agent with a Kalman Fusion of Multiple Critics [0.8906214436849204]
CDRL(Categorical Distributional Reinforcement Learning)は,複雑なタスクの学習において,より優れたサンプル効率を示す。
本稿では,連続行動空間に適した連続分布モデル自由RLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-05-04T05:38:38Z) - Retentive Decision Transformer with Adaptive Masking for Reinforcement Learning based Recommendation Systems [17.750449033873036]
Reinforcement Learning-based Recommender Systems (RLRS) は、様々なアプリケーションで約束されている。
しかし彼らは、特に報酬関数の作成や、既存の大規模なデータセットの活用など、課題に悩まされている。
オフラインRLRSの最近の進歩は、これらの2つの課題に対処するためのソリューションを提供する。
論文 参考訳(メタデータ) (2024-03-26T12:08:58Z) - A Survey on Causal Reinforcement Learning [41.645270300009436]
本稿では、CRL(Causal Reinforcement Learning)の作業のレビュー、CRL手法のレビュー、RLへの因果性から潜在的な機能について検討する。
特に,既存のCRLアプローチを,因果関係に基づく情報が事前に与えられるか否かに応じて2つのカテゴリに分けた。
我々は、マルコフ決定プロセス(MDP)、部分観測マルコフ決定プロセス(POMDP)、マルチアーム帯域(MAB)、動的治療レジーム(DTR)など、様々なモデルの形式化の観点から、各カテゴリを解析する。
論文 参考訳(メタデータ) (2023-02-10T12:25:08Z) - COptiDICE: Offline Constrained Reinforcement Learning via Stationary
Distribution Correction Estimation [73.17078343706909]
オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。
定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。
我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
論文 参考訳(メタデータ) (2022-04-19T15:55:47Z) - Towards Deployment-Efficient Reinforcement Learning: Lower Bound and
Optimality [141.89413461337324]
展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である
本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
論文 参考訳(メタデータ) (2022-02-14T01:31:46Z) - False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。
SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文 参考訳(メタデータ) (2021-10-24T15:34:03Z) - Value Penalized Q-Learning for Recommender Systems [30.704083806571074]
RLエージェントに対する累積報酬の最大化がRSの目的を満たすため、レコメンデーターシステム(RS)への強化学習のスケーリングは有望である。
この目標の重要なアプローチはオフラインのRLで、ログされたデータからポリシーを学ぶことを目的としている。
本稿では,不確実性に基づくオフラインRLアルゴリズムであるValue Penalized Q-learning (VPQ)を提案する。
論文 参考訳(メタデータ) (2021-10-15T08:08:28Z) - CRPO: A New Approach for Safe Reinforcement Learning with Convergence
Guarantee [61.176159046544946]
安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。
これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
論文 参考訳(メタデータ) (2020-11-11T16:05:14Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-14T12:38:21Z) - Critic Regularized Regression [70.8487887738354]
批判正規化回帰(CRR)形式を用いてデータからポリシーを学習するための新しいオフラインRLアルゴリズムを提案する。
CRRは驚くほどよく動作し、高次元の状態と行動空間を持つタスクにスケールする。
論文 参考訳(メタデータ) (2020-06-26T17:50:26Z) - Deep Reinforcement Learning for QoS-Constrained Resource Allocation in
Multiservice Networks [0.3324986723090368]
本稿では、マルチサービス無線システムにおける満足度保証に対するスペクトル効率の最大化を主な目的とする非最適化問題に焦点をあてる。
本稿では,Reinforcement Learning (RL) フレームワークに基づくソリューションを提案し,各エージェントがローカル環境とのインタラクションによってポリシーを見つける決定を行う。
スループットと停止率の観点から、後者のほぼ最適性能を示す。
論文 参考訳(メタデータ) (2020-03-03T19:32:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。