論文の概要: Choosing the Best of Both Worlds: Diverse and Novel Recommendations
through Multi-Objective Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2110.15097v1
- Date: Thu, 28 Oct 2021 13:22:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 16:25:19.506591
- Title: Choosing the Best of Both Worlds: Diverse and Novel Recommendations
through Multi-Objective Reinforcement Learning
- Title(参考訳): 両世界のベストを選ぶ:多目的強化学習による多様性と新しい勧告
- Authors: Dusan Stamenkovic, Alexandros Karatzoglou, Ioannis Arapakis, Xin Xin,
Kleomenis Katevas
- Abstract要約: 本稿では,Recommender Systems (RS) 設定のための拡張多目的強化学習(SMORL)を紹介する。
SMORLエージェントは、標準レコメンデーションモデルを拡張し、RLレイヤーを追加し、3つの主要な目的(正確性、多様性、新しいレコメンデーション)を同時に満たすように強制する。
実世界の2つのデータセットに対する実験結果から,集約的多様性の顕著な増加,精度の適度な向上,レコメンデーションの反復性の低下,および相補的目的としての多様性と新規性の強化の重要性が示された。
- 参考スコア(独自算出の注目度): 68.45370492516531
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since the inception of Recommender Systems (RS), the accuracy of the
recommendations in terms of relevance has been the golden criterion for
evaluating the quality of RS algorithms. However, by focusing on item
relevance, one pays a significant price in terms of other important metrics:
users get stuck in a "filter bubble" and their array of options is
significantly reduced, hence degrading the quality of the user experience and
leading to churn. Recommendation, and in particular session-based/sequential
recommendation, is a complex task with multiple - and often conflicting
objectives - that existing state-of-the-art approaches fail to address.
In this work, we take on the aforementioned challenge and introduce
Scalarized Multi-Objective Reinforcement Learning (SMORL) for the RS setting, a
novel Reinforcement Learning (RL) framework that can effectively address
multi-objective recommendation tasks. The proposed SMORL agent augments
standard recommendation models with additional RL layers that enforce it to
simultaneously satisfy three principal objectives: accuracy, diversity, and
novelty of recommendations. We integrate this framework with four
state-of-the-art session-based recommendation models and compare it with a
single-objective RL agent that only focuses on accuracy. Our experimental
results on two real-world datasets reveal a substantial increase in aggregate
diversity, a moderate increase in accuracy, reduced repetitiveness of
recommendations, and demonstrate the importance of reinforcing diversity and
novelty as complementary objectives.
- Abstract(参考訳): Recommender Systems (RS) の登場以来、RSアルゴリズムの品質を評価する上では、関連性の観点からの推奨の正確さが黄金の基準となっている。
ユーザが"フィルタバブル"で立ち往生し、オプションの配列が大幅に削減されるため、ユーザエクスペリエンスの品質が低下し、混乱に陥ります。
勧告、特にセッションベース/シーケンスレコメンデーションは、既存の最先端アプローチが対処できない、複数の、そしてしばしば矛盾する目標を持つ複雑なタスクである。
本稿では,上記の課題を取り上げ,多目的レコメンデーションタスクを効果的に処理可能な新しい強化学習(rl)フレームワークであるrs設定のためのsmorl(sscalarized multi-objective reinforcement learning)を導入する。
提案されたSMORLエージェントは、推奨の正確性、多様性、新規性の3つの主要な目的を同時に満たすためにRL層を追加して標準レコメンデーションモデルを強化する。
このフレームワークを4つの最先端セッションベースレコメンデーションモデルと統合し、精度のみに焦点を当てた単目的RLエージェントと比較する。
実世界の2つのデータセットに対する実験結果から,集約的多様性の顕著な増加,精度の適度な向上,レコメンデーションの反復性の低下,および相補的目的としての多様性と新規性の強化の重要性が示された。
関連論文リスト
- MORL-Prompt: An Empirical Analysis of Multi-Objective Reinforcement
Learning for Discrete Prompt Optimization [49.60729578316884]
RLベースの手法は、ユーザーが指定した報酬関数の集合を最大化するプロンプトの探索に使用できる。
現在の技術は報酬関数の平均値の最大化に重点を置いており、必ずしも報酬間の均衡を達成するプロンプトに繋がるとは限らない。
本稿では,RLに基づく離散的なプロンプト最適化に,多目的最適化のためのいくつかの手法を適用する。
論文 参考訳(メタデータ) (2024-02-18T21:25:09Z) - Robust Reinforcement Learning Objectives for Sequential Recommender
Systems [10.226091667719391]
注意に基づくシーケンシャルレコメンデーション手法は,過去のインタラクションからユーザの動的関心を正確に捉えることによって,有望な結果を示した。
近年, これらのモデルに強化学習(RL)を統合する研究が進められている。
RLアルゴリズムを採用することで、政治外のトレーニング、拡張可能なアクションスペースの導入、十分な報酬信号を備えたデータセットの不足といった課題が提示される。
論文 参考訳(メタデータ) (2023-05-30T08:09:08Z) - D2RLIR : an improved and diversified ranking function in interactive
recommendation systems based on deep reinforcement learning [0.3058685580689604]
本稿では,アクタ・クリティカルアーキテクチャを用いた深層強化学習に基づく推薦システムを提案する。
提案モデルでは,ユーザの嗜好に基づいて,多様かつ関連性の高いレコメンデーションリストを生成することができる。
論文 参考訳(メタデータ) (2021-10-28T13:11:29Z) - Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。
特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。
我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
論文 参考訳(メタデータ) (2021-02-24T18:46:42Z) - RRCN: A Reinforced Random Convolutional Network based Reciprocal
Recommendation Approach for Online Dating [26.033983596934338]
本稿では, 相互推薦タスクのための新しい強化ランダム畳み込みネットワーク(RRCN)を提案する。
提案したRCNを,2つの実世界のデータセットに対するベースラインと最先端のアプローチの両方に対して評価する。
論文 参考訳(メタデータ) (2020-11-25T08:55:17Z) - Exploration in two-stage recommender systems [79.50534282841618]
2段階のレコメンデータシステムは、スケーラビリティと保守性のために業界で広く採用されている。
このセットアップの鍵となる課題は、各ステージの最適性能が最適なグローバルパフォーマンスを暗示していないことである。
そこで本研究では,ランクとノミネーター間の探索戦略を同期させる手法を提案する。
論文 参考訳(メタデータ) (2020-09-01T16:52:51Z) - Sample-Rank: Weak Multi-Objective Recommendations Using Rejection
Sampling [0.5156484100374059]
本稿では,マルチゴールサンプリングとユーザ関連度(Sample-Rank)のランク付けによるマーケットプレースの多目的目標への推薦手法を提案する。
提案手法の新規性は,望まれるマルチゴール分布からサンプリングするMOレコメンデーション問題を低減し,プロダクションフレンドリーな学習-ランクモデルを構築することである。
論文 参考訳(メタデータ) (2020-08-24T09:17:18Z) - Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
逐次リコメンデーションタスクのための自己指導型強化学習を提案する。
提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。
このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-10T11:18:57Z) - Sequential Recommendation with Self-Attentive Multi-Adversarial Network [101.25533520688654]
逐次レコメンデーションにおける文脈情報の影響を明示的にモデル化するためのMFGAN(Multi-Factor Generative Adversarial Network)を提案する。
当社のフレームワークは,複数種類の因子情報を組み込むことが柔軟であり,各因子が推奨決定にどのように貢献するかを時間とともに追跡することができる。
論文 参考訳(メタデータ) (2020-05-21T12:28:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。