論文の概要: Contrastive Representation for Interactive Recommendation

• arxiv url: http://arxiv.org/abs/2412.18396v2
• Date: Tue, 21 Jan 2025 03:44:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:14:26.216116
• Title: Contrastive Representation for Interactive Recommendation
• Title（参考訳）: 対話型レコメンデーションのためのコントラスト表現
• Authors: Jingyu Li, Zhiyong Feng, Dongxiao He, Hongqi Chen, Qinghang Gao, Guoli Wu,
• Abstract要約: 対話型レコメンデーション(CRIR)のためのコントラスト表現を提案する。 CRIRは、明示的な相互作用から潜在的、高レベルな選好ランクの機能を効率的に抽出する。 また、CRIRを深層強化学習のバックボーンに適応させるためのデータ活用機構とエージェント訓練機構を提案する。
• 参考スコア（独自算出の注目度）: 20.020630759453237
• License:
• Abstract: Interactive Recommendation (IR) has gained significant attention recently for its capability to quickly capture dynamic interest and optimize both short and long term objectives. IR agents are typically implemented through Deep Reinforcement Learning (DRL), because DRL is inherently compatible with the dynamic nature of IR. However, DRL is currently not perfect for IR. Due to the large action space and sample inefficiency problem, training DRL recommender agents is challenging. The key point is that useful features cannot be extracted as high-quality representations for the recommender agent to optimize its policy. To tackle this problem, we propose Contrastive Representation for Interactive Recommendation (CRIR). CRIR efficiently extracts latent, high-level preference ranking features from explicit interaction, and leverages the features to enhance users' representation. Specifically, the CRIR provides representation through one representation network, and refines it through our proposed Preference Ranking Contrastive Learning (PRCL). The key insight of PRCL is that it can perform contrastive learning without relying on computations involving high-level representations or large potential action sets. Furthermore, we also propose a data exploiting mechanism and an agent training mechanism to better adapt CRIR to the DRL backbone. Extensive experiments have been carried out to show our method's superior improvement on the sample efficiency while training an DRL-based IR agent.
• Abstract（参考訳）: インタラクティブ勧告(Interactive Recommendation, IR)は, 動的関心を素早く捉え, 短期目標と長期目標の両方を最適化する能力に注目されている。 IRエージェントは通常、DRLがIRの動的性質と本質的に互換性があるため、DRL(Deep Reinforcement Learning)を通して実装される。 しかし、DRLはIRには適していない。 大規模な行動空間とサンプル不効率の問題により、DRL推薦エージェントの訓練は困難である。 キーポイントは、そのポリシーを最適化するために、推奨エージェントの高品質な表現として有用な特徴を抽出できないことである。 この問題に対処するため,対話型レコメンデーション(CRIR)のためのコントラスト表現を提案する。 CRIRは、明示的なインタラクションから潜在的かつ高レベルな優先順位付け機能を効率よく抽出し、その特徴を活用してユーザの表現を強化する。 具体的には、CRIRは1つの表現ネットワークを通して表現を提供し、提案したPreference Ranking Contrastive Learning (PRCL)を通してそれを洗練する。 PRCLの重要な洞察は、高いレベルの表現や大きな潜在的なアクションセットを含む計算に頼ることなく、コントラスト学習を行うことができることである。 さらに,DRLバックボーンにCRIRを適応させるためのデータ活用機構とエージェント訓練機構を提案する。 DRLをベースとしたIRエージェントのトレーニング中に,本手法の試料効率向上効果を示すため,広範囲な実験を行った。

関連論文リスト

• DEAR: Disentangled Environment and Agent Representations for Reinforcement Learning without Reconstruction [4.813546138483559]
  強化学習(RL)アルゴリズムは視覚的な観察からロボット制御タスクを学習することができるが、大量のデータを必要とすることが多い。 本稿では,その形状に関するエージェントの知識が,視覚的RL法のサンプル効率を向上させる方法について検討する。 本稿では,エージェントのセグメンテーションマスクを監督対象とする,分散環境とエージェント表現という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T09:15:21Z)
• LIRE: listwise reward enhancement for preference alignment [27.50204023448716]
  本稿では、複数の応答のオフライン報酬を合理化されたリストワイズフレームワークに組み込む、勾配に基づく報酬最適化手法を提案する。 LIREは実装が簡単で、最小限のパラメータチューニングを必要とし、ペアワイズパラダイムとシームレスに整合する。 実験の結果,LIREは対話タスクや要約タスクのベンチマークにおいて,既存のメソッドよりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T10:21:50Z)
• Model-enhanced Contrastive Reinforcement Learning for Sequential Recommendation [28.218427886174506]
  モデル強化コントラスト強化学習(MCRL)という新しいRLレコメンデータを提案する。 一方、ユーザの長期エンゲージメントを推定するためのバリュー関数と、過大評価問題を緩和するための保守的なバリュー学習機構を学習する。 実験により,提案手法は既存のオフラインRL法と自己教師付きRL法を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-25T11:43:29Z)
• Robust Reinforcement Learning Objectives for Sequential Recommender Systems [7.44049827436013]
  我々は、報酬の形で直接ユーザーフィードバックを取り入れ、ユーザのパーソナライズを高めるレコメンデーションシステムを開発する。 RLアルゴリズムを採用することで、政治外のトレーニング、拡張可能なアクションスペース、十分な報酬信号を持つデータセットの不足など、課題が提示される。 これらの課題に対して、より効果的な解決策を提供するための拡張された方法論を導入します。
  論文  参考訳（メタデータ） (2023-05-30T08:09:08Z)
• Prompt-Tuning Decision Transformer with Preference Ranking [83.76329715043205]
  本稿では,環境情報取得におけるRLエージェントの誘導手法としてトラジェクトリセグメントを用いたPrompt-Tuning DTアルゴリズムを提案する。 提案手法では,ガウス分布をランダムにサンプリングしてプロンプト軌道の要素を微調整し,選好ランク関数を用いて最適化方向を求める。 我々の研究は、RLにおける迅速な調整手法の進歩に寄与し、特定の選好タスクに対して大規模RLエージェントを最適化するための有望な方向性を提供する。
  論文  参考訳（メタデータ） (2023-05-16T17:49:04Z)
• RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning [2.0341936392563063]
  本稿では,RLエージェントの動作に対する反実的説明を生成するための,RACCERを提案する。 木探索を用いて、定義された特性に基づいて最も適切なカウンターファクトを見つける。 我々はRACCERを2つのタスクで評価し、また、RL固有の対策がエージェントの行動をよりよく理解するのに役立つことを示す。
  論文  参考訳（メタデータ） (2023-03-08T09:47:00Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Modeling Bounded Rationality in Multi-Agent Simulations Using Rationally Inattentive Reinforcement Learning [85.86440477005523]
  我々は、人間不合理性の確立されたモデルであるRational Inattention(RI)モデルを含む、より人間的なRLエージェントについて検討する。 RIRLは、相互情報を用いた認知情報処理のコストをモデル化する。 我々は、RIRLを用いることで、合理的な仮定の下で発見されたものと異なる、新しい平衡挙動の豊富なスペクトルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-18T20:54:00Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)
• Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
  逐次リコメンデーションタスクのための自己指導型強化学習を提案する。 提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。 このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T11:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。