論文の概要: A Production-Ready RL Framework for Personalized Utility Tuning with Pareto Sweeping in Pinterest Recommender Systems
- arxiv url: http://arxiv.org/abs/2605.16344v1
- Date: Fri, 08 May 2026 01:48:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 12:34:33.90074
- Title: A Production-Ready RL Framework for Personalized Utility Tuning with Pareto Sweeping in Pinterest Recommender Systems
- Title（参考訳）: Pinterest RecommenderシステムにおけるPareto Sweepingを用いた個人化ユーティリティチューニングのためのプロダクション対応RLフレームワーク
- Authors: Yichu Zhou, Mehdi Ben Ayed, Lin Yang, Jiacong He, Andreanne Lemay, Jiaye Wang, Jaewon Yang, Josie Zeng, Dhruvil Deven Badani, Yijie Dylan Wang, Jiajing Xu, Charles Rosenberg,
- Abstract要約: 大規模レコメンデータは、複数の予測結果を1つのユーティリティスコアに組み合わせることで、多目的トレードオフを符号化する。
PRL-PUTS(PRL-PUTS)を提案する。
- 参考スコア（独自算出の注目度）: 7.4144229390766005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale recommenders encode multi-objective trade-offs by combining multiple predicted outcomes into a single utility score. Although this utility layer can be updated independently of the ranker, weight tuning remains largely manual, globally applied, slow to adapt to changing environments and business needs, and hard to govern as priorities shift. We propose PRL-PUTS, a Production-ready, ranker independent RL framework for Personalized Utility-weight Tuning with Pareto Sweeping. We cast utility tuning as a one-step, value-based RL problem: given request context, an agent selects a utility-weight vector that re-weights ranker predictions to maximize request-level engagement rewards. To visualize performance across the trade-off spectrum and allow decision makers to update the deployed operating policy instantly, we adopt an inference-time Pareto frontier sweeping via a scalarization parameter, producing a family of policies and an empirical Pareto frontier used as a governance artifact for operating policy selection. PRL-PUTS runs in parallel with ranking inference without adding serving latency. We validate PRL-PUTS with offline analysis using unbiased exploration logs and online experiments on Pinterest Homefeed where PRL-PUTS showed significant increases in engagement compared to baseline such as +0.13\% increase in successful session, a core metric for user engagement.
- Abstract（参考訳）: 大規模レコメンデータは、複数の予測結果を1つのユーティリティスコアに組み合わせることで、多目的トレードオフを符号化する。
このユーティリティ・レイヤはローダとは独立して更新できるが、重量調整は大半が手動であり、グローバルに適用され、変化する環境やビジネスニーズに適応するのが遅い。
本稿では,Pareto Sweepingを用いたパーソナライズされたユーティリティウェイトチューニングのためのPRL-PUTSを提案する。
我々は,ユーティリティチューニングを1段階の値ベースRL問題として論じる: 与えられた要求コンテキストにおいて,エージェントは,ローダ予測を再重み付けして要求レベルのエンゲージメント報酬を最大化するユーティリティウェイトベクトルを選択する。
トレードオフスペクトル全体のパフォーマンスを可視化し,デプロイされたオペレーティングポリシーの即時更新を可能にするため,スキャラライズパラメータを経由した推論タイムのパレートフロンティアと,オペレーティングポリシ選択のガバナンスアーティファクトとして使用される実証的なパレートフロンティアを採用した。
PRL-PUTSは、サービスレイテンシを追加することなく、ランキング推論と並行して実行される。
Pinterest Homefeedでは,PRL-PUTSがユーザエンゲージメントの指標である+0.13\%のセッション成功率などのベースラインに比べて,エンゲージメントが有意に増加した。
関連論文リスト
- Counterfactual Credit Policy Optimization for Multi-Agent Collaboration [27.260904103460664]
協調多エージェント大言語モデル(LLM)は、役割を分解し、多様な仮説を集約することで複雑な推論タスクを解くことができる。
本稿では,エージェント固有の学習信号を割り当てるフレームワークであるCCPOを紹介する。
CCPOは、エージェントのコントリビューションを除去して結果をシミュレートする動的反ファクト的ベースラインを構築する。
論文 参考訳（メタデータ） (2026-03-23T04:35:02Z) - Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。
本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。
刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
論文 参考訳（メタデータ） (2026-03-04T14:48:53Z) - GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。
次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。
GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
論文 参考訳（メタデータ） (2026-01-08T18:59:24Z) - OptPO: Optimal Rollout Allocation for Test-time Policy Optimization [11.375209834858135]
テスト時のポリシー最適化により、大規模言語モデルでは、自己生成ロールアウトからのフィードバックを活用することで、分散シフトに適応することができる。
我々は、推論予算を適応的に割り当てる原則的フレームワークであるテスト時間ポリシー最適化のための最適ロールアウト割当(OptPO)を提案する。
論文 参考訳（メタデータ） (2025-12-02T15:38:52Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - Deep Reinforcement Learning for Ranking Utility Tuning in the Ad Recommender System at Pinterest [10.816672840498079]
広告推薦システムにおけるランキングユーティリティ機能は、プラットフォーム、広告主、ユーザー間で価値のバランスをとる上で中心的な役割を果たす。
従来の手動チューニングは単純さと解釈性を提供しながら、しばしば準最適結果をもたらす。
個人化されたユーティリティチューニングのための一般的なDeep Reinforcement Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-05T17:57:45Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。
理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。
我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
論文 参考訳（メタデータ） (2024-04-25T17:20:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。