論文の概要: Minimizing Live Experiments in Recommender Systems: User Simulation to Evaluate Preference Elicitation Policies

• arxiv url: http://arxiv.org/abs/2409.17436v1
• Date: Thu, 26 Sep 2024 00:08:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 23:40:01.157211
• Title: Minimizing Live Experiments in Recommender Systems: User Simulation to Evaluate Preference Elicitation Policies
• Title（参考訳）: Recommender システムにおけるライブ実験の最小化: ユーザシミュレーションによる推奨緩和策の評価
• Authors: Chih-Wei Hsu, Martin Mladenov, Ofer Meshi, James Pine, Hubert Pham, Shane Li, Xujian Liang, Anton Polishko, Li Yang, Ben Scheetz, Craig Boutilier,
• Abstract要約: 本稿では,ライブ実験の利用を拡大(および削減)するために用いられるシミュレーション手法について述べる。 そこで本研究では,YouTube Musicプラットフォームの新規ユーザを対象とした選好評価アルゴリズムの展開について述べる。
• 参考スコア（独自算出の注目度）: 14.258382779305483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluation of policies in recommender systems typically involves A/B testing using live experiments on real users to assess a new policy's impact on relevant metrics. This ``gold standard'' comes at a high cost, however, in terms of cycle time, user cost, and potential user retention. In developing policies for ``onboarding'' new users, these costs can be especially problematic, since on-boarding occurs only once. In this work, we describe a simulation methodology used to augment (and reduce) the use of live experiments. We illustrate its deployment for the evaluation of ``preference elicitation'' algorithms used to onboard new users of the YouTube Music platform. By developing counterfactually robust user behavior models, and a simulation service that couples such models with production infrastructure, we are able to test new algorithms in a way that reliably predicts their performance on key metrics when deployed live. We describe our domain, our simulation models and platform, results of experiments and deployment, and suggest future steps needed to further realistic simulation as a powerful complement to live experiments.
• Abstract（参考訳）: 推奨システムにおけるポリシーの評価は、一般的に、関連するメトリクスに対する新しいポリシーの影響を評価するために、実ユーザでのライブ実験を使用してA/Bテストを行う。 しかし、この‘ゴールドスタンダード’は、サイクル時間、ユーザコスト、潜在的なユーザ保持の観点からは、高コストである。 新規ユーザの‘オンボーディング’のポリシーを開発する場合、オンボーディングは1回しか発生しないため、これらのコストは特に問題となる可能性がある。 本研究では,ライブ実験の利用を拡大(および削減)するために用いられるシミュレーション手法について述べる。 本稿では,YouTube Music プラットフォームの新規ユーザを対象にした ‘preference elicitation' アルゴリズムの評価を行った。 反実的に堅牢なユーザ行動モデルと、そのようなモデルと運用インフラストラクチャを結合するシミュレーションサービスを開発することで、デプロイ時に重要なメトリクスのパフォーマンスを確実に予測する方法で、新しいアルゴリズムをテストすることができます。 我々は、我々の領域、シミュレーションモデルとプラットフォーム、実験と展開の結果を説明し、ライブ実験の強力な補完として、さらなる現実的なシミュレーションに必要な将来のステップを提案する。

関連論文リスト

• Algorithmic Drift: A Simulation Framework to Study the Effects of Recommender Systems on User Preferences [7.552217586057245]
  本稿では,長期シナリオにおけるユーザ-リコメンダ間のインタラクションを模倣するシミュレーションフレームワークを提案する。 本稿では,ユーザの嗜好に対するアルゴリズムの影響を定量化する2つの新しい指標について紹介する。
  論文  参考訳（メタデータ） (2024-09-24T21:54:22Z)
• Sim2Rec: A Simulator-based Decision-making Approach to Optimize Real-World Long-term User Engagement in Sequential Recommender Systems [43.31078296862647]
  逐次リコメンデータシステム(SRS)における長期ユーザエンゲージメント(LTE)最適化は強化学習(RL)に適している RLには欠点があり、特に探索には多数のオンラインサンプルが必要である。 シミュレーション・ツー・レコメンデーション(Sim2Rec)というシミュレーターベースの推奨ポリシートレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-03T19:21:25Z)
• A Case Study on Designing Evaluations of ML Explanations with Simulated User Studies [6.2511886555343805]
  我々は、実世界のユースケースでSimEvalsを初めて実施し、eコマース不正検出においてMLによる意思決定を支援することができるかどうかを評価する。 SimEvalsは、すべての考慮された説明者は同等にパフォーマンスがあり、説明なしではベースラインに勝てないことを示唆している。
  論文  参考訳（メタデータ） (2023-02-15T03:27:55Z)
• Federated Privacy-preserving Collaborative Filtering for On-Device Next App Prediction [52.16923290335873]
  本稿では,モバイルデバイス使用時の次のアプリの起動を予測するための新しいSeqMFモデルを提案する。 古典行列分解モデルの構造を修正し、学習手順を逐次学習に更新する。 提案手法のもうひとつの要素は,ユーザからリモートサーバへの送信データの保護を保証する,新たなプライバシメカニズムである。
  論文  参考訳（メタデータ） (2023-02-05T10:29:57Z)
• Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
  逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。 しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。 したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
  論文  参考訳（メタデータ） (2022-11-17T19:00:24Z)
• Towards Data-Driven Offline Simulations for Online Reinforcement Learning [30.654163861164864]
  強化学習のためのオフライン学習者シミュレーション(OLS)を形式化する。 シミュレーションの忠実度と効率を両立させる新しい評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2022-11-14T18:36:13Z)
• Off-policy evaluation for learning-to-rank via interpolating the item-position model and the position-based model [83.83064559894989]
  産業レコメンデーションシステムにとって重要なニーズは、製品にデプロイする前に、レコメンデーションポリシーをオフラインで評価する機能である。 我々は、最も人気のある2つの非政治推定器の問題を緩和する新しい推定器を開発する。 特に、InterPOLと呼ばれる新しい推定器は、潜在的に不特定位置ベースモデルのバイアスに対処する。
  論文  参考訳（メタデータ） (2022-10-15T17:22:30Z)
• Synthetic Data-Based Simulators for Recommender Systems: A Survey [55.60116686945561]
  本調査は,モデリングとシミュレーションの分野における最近のトレンドを包括的に概観することを目的としている。 まずは、シミュレーターを実装するフレームワークの開発の背後にあるモチベーションから始めます。 我々は,既存のシミュレータの機能,近似,産業的有効性に基づいて,新しい一貫した一貫した分類を行う。
  論文  参考訳（メタデータ） (2022-06-22T19:33:21Z)
• Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems [80.77917437785773]
  タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。 本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。 また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-02T05:11:03Z)
• A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
  本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。 我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。 我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
  論文  参考訳（メタデータ） (2020-11-17T22:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。