論文の概要: Hierarchical Reinforcement Learning for Modeling User Novelty-Seeking
Intent in Recommender Systems
- arxiv url: http://arxiv.org/abs/2306.01476v1
- Date: Fri, 2 Jun 2023 12:02:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 15:16:02.530316
- Title: Hierarchical Reinforcement Learning for Modeling User Novelty-Seeking
Intent in Recommender Systems
- Title（参考訳）: レコメンダシステムにおけるユーザノベルティシーキングインテントのモデル化のための階層的強化学習
- Authors: Pan Li, Yuyan Wang, Ed H. Chi and Minmin Chen
- Abstract要約: 本稿では,階層型ユーザ新規検索意図をモデル化する階層型強化学習手法を提案する。
さらに, 階層的RL (HRL) エージェントの報酬関数に多様性と新規性に関連する測定を取り入れ, ユーザの探索を促進する。
- 参考スコア（独自算出の注目度）: 26.519571240032967
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recommending novel content, which expands user horizons by introducing them
to new interests, has been shown to improve users' long-term experience on
recommendation platforms \cite{chen2021values}. Users however are not
constantly looking to explore novel content. It is therefore crucial to
understand their novelty-seeking intent and adjust the recommendation policy
accordingly. Most existing literature models a user's propensity to choose
novel content or to prefer a more diverse set of recommendations at individual
interactions. Hierarchical structure, on the other hand, exists in a user's
novelty-seeking intent, which is manifested as a static and intrinsic user
preference for seeking novelty along with a dynamic session-based propensity.
To this end, we propose a novel hierarchical reinforcement learning-based
method to model the hierarchical user novelty-seeking intent, and to adapt the
recommendation policy accordingly based on the extracted user novelty-seeking
propensity. We further incorporate diversity and novelty-related measurement in
the reward function of the hierarchical RL (HRL) agent to encourage user
exploration \cite{chen2021values}. We demonstrate the benefits of explicitly
modeling hierarchical user novelty-seeking intent in recommendations through
extensive experiments on simulated and real-world datasets. In particular, we
demonstrate that the effectiveness of our proposed hierarchical RL-based method
lies in its ability to capture such hierarchically-structured intent. As a
result, the proposed HRL model achieves superior performance on several public
datasets, compared with state-of-art baselines.
- Abstract（参考訳）: 新たな関心事に導入することで、ユーザの視野を広げる新しいコンテンツの推奨は、レコメンデーションプラットフォーム上でのユーザの長期的なエクスペリエンスを改善することが示されている。
しかし、ユーザーは新しいコンテンツを常に探しているわけではない。
そのため、新奇な探究意図を理解し、それに応じて勧告方針を調整することが重要である。
ほとんどの既存の文献は、ユーザが新しいコンテンツを選択することや、個々の相互作用においてより多様なレコメンデーションを選択することを推奨する傾向をモデル化している。
一方、階層構造は、動的セッションベースの適合性とともに、新規性を求める静的で本質的なユーザ嗜好として、ユーザの新規性検索意図に存在している。
そこで本研究では,階層的ユーザノベルティシーキング意図をモデル化し,抽出したユーザノベルティシーキング傾向に応じてレコメンデーションポリシーを適用する階層的強化学習ベース手法を提案する。
さらに、階層的RL(HRL)エージェントの報酬関数に多様性と新規性に関連する測定を組み込んで、ユーザの探索を奨励する。
シミュレーションおよび実世界のデータセットに関する広範な実験を通じて,階層的ユーザノベルティ検索意図を明示的にモデル化する利点を実証する。
特に,提案した階層的RL法の有効性は,そのような階層的意図を捉える能力にあることを示す。
その結果、提案したHRLモデルは、最先端のベースラインと比較して、いくつかの公開データセットにおいて優れたパフォーマンスを実現する。
関連論文リスト
- Dual Contrastive Transformer for Hierarchical Preference Modeling in Sequential Recommendation [23.055217651991537]
シークエンシャルレコメンダシステム(SRS)は、利用者が興味を持つかもしれない後続の項目を予測することを目的としている。
既存のSRSの多くは、アイテムID情報に基づいて、ユーザによる単一の低レベルの嗜好をモデル化することが多い。
複雑な低レベルおよび高レベルの嗜好ダイナミクスをモデル化する新しい階層的嗜好モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-30T08:09:33Z) - Hierarchical Reinforcement Learning for Temporal Abstraction of Listwise Recommendation [51.06031200728449]
我々はmccHRLと呼ばれる新しいフレームワークを提案し、リストワイドレコメンデーションにおける時間的抽象化のレベルを異なるものにする。
階層的な枠組みの中では、ハイレベルエージェントがユーザ知覚の進化を研究し、低レベルエージェントがアイテム選択ポリシーを作成している。
その結果,本手法による性能改善は,いくつかのよく知られたベースラインと比較して有意な結果が得られた。
論文 参考訳（メタデータ） (2024-09-11T17:01:06Z) - Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。
しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。
したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
論文 参考訳（メタデータ） (2022-11-17T19:00:24Z) - Intent Contrastive Learning for Sequential Recommendation [86.54439927038968]
ユーザの意図を表現するために潜伏変数を導入し,クラスタリングにより潜伏変数の分布関数を学習する。
我々は,学習意図を対照的なSSLによってSRモデルに活用し,シーケンスのビューとそれに対応するインテントとの一致を最大化することを提案する。
4つの実世界のデータセットで実施された実験は、提案した学習パラダイムの優位性を示している。
論文 参考訳（メタデータ） (2022-02-05T09:24:13Z) - Reinforcement Learning based Path Exploration for Sequential Explainable
Recommendation [57.67616822888859]
強化学習(TMER-RL)を活用した新しい時間的メタパスガイド型説明可能な勧告を提案する。
TMER-RLは, 動的知識グラフ上での動的ユーザ・イテム進化を逐次モデル化するために, 注意機構を持つ連続項目間の強化項目・イテムパスをモデル化する。
2つの実世界のデータセットに対するTMERの大規模な評価は、最近の強いベースラインと比較して最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2021-11-24T04:34:26Z) - D2RLIR : an improved and diversified ranking function in interactive
recommendation systems based on deep reinforcement learning [0.3058685580689604]
本稿では,アクタ・クリティカルアーキテクチャを用いた深層強化学習に基づく推薦システムを提案する。
提案モデルでは,ユーザの嗜好に基づいて,多様かつ関連性の高いレコメンデーションリストを生成することができる。
論文 参考訳（メタデータ） (2021-10-28T13:11:29Z) - Modeling User Behaviour in Research Paper Recommendation System [8.980876474818153]
ディープシーケンシャルなトピック分析に基づくユーザ意図モデルを提案する。
モデルは、興味のあるトピックの観点から、ユーザの意図を予測する。
提案手法では,研究論文推薦システムの設計に適したユーザアクティビティをモデル化する新たなロードマップを提案する。
論文 参考訳（メタデータ） (2021-07-16T11:31:03Z) - Offline Meta-level Model-based Reinforcement Learning Approach for
Cold-Start Recommendation [27.17948754183511]
強化学習は、リコメンデータシステムに対する長期的なユーザの関心を最適化する上で大きな可能性を秘めている。
既存のRLベースのレコメンデーション手法では、ユーザが堅牢なレコメンデーションポリシーを学ぶために、多数のインタラクションが必要である。
本稿では,ユーザ適応の高速化を目的としたメタレベルモデルに基づく強化学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-04T08:58:35Z) - Towards Open-World Recommendation: An Inductive Model-based
Collaborative Filtering Approach [115.76667128325361]
推奨モデルは、基礎となるユーザの関心を効果的に見積もり、将来の行動を予測することができる。
2つの表現モデルを含む帰納的協調フィルタリングフレームワークを提案する。
本モデルでは,限られたトレーニングレーティングと新規の未確認ユーザを対象に,数ショットのユーザに対して有望なレコメンデーションを行う。
論文 参考訳（メタデータ） (2020-07-09T14:31:25Z) - Reward Constrained Interactive Recommendation with Natural Language
Feedback [158.8095688415973]
制約強化強化学習(RL)フレームワークを提案する。
具体的には,ユーザの過去の嗜好に反するレコメンデーションを検出するために,識別器を利用する。
提案するフレームワークは汎用的であり,制約付きテキスト生成のタスクにさらに拡張されている。
論文 参考訳（メタデータ） (2020-05-04T16:23:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。