論文の概要: Optimizing Audio Recommendations for the Long-Term: A Reinforcement Learning Perspective

• arxiv url: http://arxiv.org/abs/2302.03561v3
• Date: Sat, 27 Jul 2024 17:15:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 01:26:28.704673
• Title: Optimizing Audio Recommendations for the Long-Term: A Reinforcement Learning Perspective
• Title（参考訳）: 長期音声推薦の最適化:強化学習の視点から
• Authors: Lucas Maystre, Daniel Russo, Yu Zhao,
• Abstract要約: 本稿では,産業規模でのポッドキャストレコメンデーションシステムについて紹介する。 機械学習アルゴリズムを短時間のプロキシメトリクスに最適化するという、幅広い業界慣行から逸脱して、システムはA/Bテストの長期的なパフォーマンスを大幅に改善する。
• 参考スコア（独自算出の注目度）: 11.31980071390936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel podcast recommender system deployed at industrial scale. This system successfully optimizes personal listening journeys that unfold over months for hundreds of millions of listeners. In deviating from the pervasive industry practice of optimizing machine learning algorithms for short-term proxy metrics, the system substantially improves long-term performance in A/B tests. The paper offers insights into how our methods cope with attribution, coordination, and measurement challenges that usually hinder such long-term optimization. To contextualize these practical insights within a broader academic framework, we turn to reinforcement learning (RL). Using the language of RL, we formulate a comprehensive model of users' recurring relationships with a recommender system. Then, within this model, we identify our approach as a policy improvement update to a component of the existing recommender system, enhanced by tailored modeling of value functions and user-state representations. Illustrative offline experiments suggest this specialized modeling reduces data requirements by as much as a factor of 120,000 compared to black-box approaches.
• Abstract（参考訳）: 本稿では,産業規模でのポッドキャストレコメンデーションシステムについて紹介する。 このシステムは、数億のリスナーに対して数ヶ月にわたって展開するパーソナルリスニングの最適化に成功している。 機械学習アルゴリズムを短時間のプロキシメトリクスに最適化するという、幅広い業界慣行から逸脱して、システムはA/Bテストの長期的なパフォーマンスを大幅に改善する。 この論文は、我々の手法が帰属、調整、測定の課題にどのように対処し、そのような長期的な最適化を妨げているかについての洞察を提供する。 より広範な学術的な枠組みの中で、これらの実践的な洞察を文脈化するために、強化学習(RL)に目を向ける。 RLの言語を用いて,レコメンダシステムとユーザの繰り返し関係の包括的モデルを定式化する。 そこで本モデルでは,提案手法を既存のレコメンデータシステムのコンポーネントに対するポリシー改善の更新として認識し,値関数とユーザ状態表現のモデル化によって拡張する。 図示的なオフライン実験は、この特殊なモデリングによって、ブラックボックスアプローチと比較して、データ要求を最大12万倍削減することを示している。

関連論文リスト

• Hierarchical Reinforcement Learning for Temporal Abstraction of Listwise Recommendation [51.06031200728449]
  我々はmccHRLと呼ばれる新しいフレームワークを提案し、リストワイドレコメンデーションにおける時間的抽象化のレベルを異なるものにする。 階層的な枠組みの中では、ハイレベルエージェントがユーザ知覚の進化を研究し、低レベルエージェントがアイテム選択ポリシーを作成している。 その結果,本手法による性能改善は,いくつかのよく知られたベースラインと比較して有意な結果が得られた。
  論文  参考訳（メタデータ） (2024-09-11T17:01:06Z)
• A Model-based Multi-Agent Personalized Short-Video Recommender System [19.03089585214444]
  本稿では,RLをベースとした産業用ショートビデオレコメンデータランキングフレームワークを提案する。 提案フレームワークでは,サンプル選択バイアスを軽減するために,モデルに基づく学習アプローチを採用している。 提案手法は,当社の大規模ショートビデオ共有プラットフォームに導入されている。
  論文  参考訳（メタデータ） (2024-05-03T04:34:36Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• Deep Reinforcement Learning for Exact Combinatorial Optimization: Learning to Branch [13.024115985194932]
  本稿では、強化学習(RL)パラダイムを用いた最適化において、データラベリングと推論の問題を解決するための新しいアプローチを提案する。 我々は模倣学習を用いてRLエージェントをブートストラップし、PPO(Proximal Policy)を使用してグローバルな最適なアクションを探索する。
  論文  参考訳（メタデータ） (2022-06-14T16:35:58Z)
• Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
  決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
  論文  参考訳（メタデータ） (2022-05-05T13:40:08Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Incremental Learning for Personalized Recommender Systems [8.020546404087922]
  トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。 このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
  論文  参考訳（メタデータ） (2021-08-13T04:21:21Z)
• Improving Long-Term Metrics in Recommendation Systems using Short-Horizon Offline RL [56.20835219296896]
  セッションベースのレコメンデーションシナリオについて検討し、シーケンシャルなインタラクションの間、ユーザに対してアイテムを推薦し、長期的なユーティリティを改善する。 我々は、セッション間のポリシーによる分散シフトを近似するショートホライズンポリシー改善(SHPI)と呼ばれる新しいバッチRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-06-01T15:58:05Z)
• Hybrid Model with Time Modeling for Sequential Recommender Systems [0.15229257192293202]
  Booking.comはWSDM WebTour 2021 Challengeを組織した。 レコメンダシステムのための最先端のディープラーニングアーキテクチャをテストするために,いくつかの実験を行った。 実験結果から,narmの改善は他のベンチマーク手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-07T19:28:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。