論文の概要: Lusifer: LLM-based User SImulated Feedback Environment for online Recommender systems

• arxiv url: http://arxiv.org/abs/2405.13362v4
• Date: Sat, 29 Mar 2025 14:45:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 15:20:30.239987
• Title: Lusifer: LLM-based User SImulated Feedback Environment for online Recommender systems
• Title（参考訳）: Lusifer:オンラインレコメンダシステムのためのLLMベースのユーザシミュレートフィードバック環境
• Authors: Danial Ebrat, Eli Paradalis, Luis Rueda,
• Abstract要約: 強化学習(RL)レコメンデータシステムは、現実のシナリオにおけるユーザの好みの性質を変えることなく、流体をキャプチャできない静的データセットに依存することが多い。 LLMベースのシミュレーション環境であるLulsiferを導入し、RLベースのレコメンデータトレーニングのための動的で現実的なユーザフィードバックを生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) recommender systems often rely on static datasets that fail to capture the fluid, ever changing nature of user preferences in real-world scenarios. Meanwhile, generative AI techniques have emerged as powerful tools for creating synthetic data, including user profiles and behaviors. Recognizing this potential, we introduce Lusifer, an LLM-based simulation environment designed to generate dynamic, realistic user feedback for RL-based recommender training. In Lusifer, user profiles are incrementally updated at each interaction step, with Large Language Models (LLMs) providing transparent explanations of how and why preferences evolve. We focus on the MovieLens dataset, extracting only the last 40 interactions for each user, to emphasize recent behavior. By processing textual metadata (such as movie overviews and tags) Lusifer creates more context aware user states and simulates feedback on new items, including those with limited or no prior ratings. This approach reduces reliance on extensive historical data and facilitates cold start scenario handling and adaptation to out of distribution cases. Our experiments compare Lusifer with traditional collaborative filtering models, revealing that while Lusifer can be comparable in predictive accuracy, it excels at capturing dynamic user responses and yielding explainable results at every step. These qualities highlight its potential as a scalable, ethically sound alternative to live user experiments, supporting iterative and user-centric evaluations of RL-based recommender strategies. Looking ahead, we envision Lusifer serving as a foundational tool for exploring generative AI-driven user simulations, enabling more adaptive and personalized recommendation pipelines under real world constraints.
• Abstract（参考訳）: 強化学習(RL)レコメンデータシステムは、現実のシナリオにおけるユーザの好みの性質を変えることなく、流体をキャプチャできない静的データセットに依存することが多い。 一方、生成AI技術は、ユーザープロファイルや行動を含む合成データを作成するための強力なツールとして登場した。 この可能性を認識したLusiferは,RLベースのレコメンデータトレーニングのための動的で現実的なユーザフィードバックを生成するLLMベースのシミュレーション環境である。 Lusiferでは、ユーザープロファイルは各インタラクションステップで漸進的に更新される。 ユーザ毎の最後の40のインタラクションのみを抽出して,最近の振る舞いを強調する,MovieLensデータセットに注目する。 テキストメタデータ(映画の概要やタグなど)を処理することで、Lulsiferはよりコンテキストを意識したユーザ状態を生成し、事前のレーティングが限定的であるか、全くないものを含む、新しいアイテムに対するフィードバックをシミュレートする。 このアプローチは、広範な履歴データへの依存を減らし、コールドスタートシナリオのハンドリングと分散ケース外への適応を容易にする。 我々の実験では,Lugiferと従来の協調フィルタリングモデルを比較し,Lugiferは予測精度に匹敵するものの,動的なユーザ応答をキャプチャし,各ステップで説明可能な結果を得ることができることを明らかにした。 これらの性質は、ライブユーザー実験に代わるスケーラブルで倫理的に健全な代替手段としての可能性を強調し、RLベースのレコメンデータ戦略の反復的およびユーザ中心の評価をサポートする。 今後は、Lulsiferが生成AI駆動のユーザシミュレーションを探索するための基本的なツールとして機能し、現実の制約の下でより適応的でパーソナライズされたレコメンデーションパイプラインを可能にすることを期待しています。

関連論文リスト

• Large Language Model Empowered Recommendation Meets All-domain Continual Pre-Training [60.38082979765664]
  CPRecは、レコメンデーションのための全ドメイン連続事前トレーニングフレームワークである。 LLMを連続的な事前学習パラダイムを通じて、普遍的なユーザ行動と整合させる。 2つの異なるプラットフォームから5つの実世界のデータセットを実験する。
  論文  参考訳（メタデータ） (2025-04-11T20:01:25Z)
• FSPO: Few-Shot Preference Optimization of Synthetic Preference Data in LLMs Elicits Effective Personalization to Real Users [111.56469697145519]
  メタ学習問題として報酬モデルを再設計するFew-Shot Preference Optimizationを提案する。 このフレームワークでは、LDMはそのユーザからいくつかのラベル付けされた好みを通じてユーザへの迅速な適応を学び、パーソナライズされた報酬関数を構築する。 公開されているLLMを用いて100万以上の合成パーソナライズされた好みを生成する。 本研究は,映画レビュー,教育背景に基づく教育適応,一般質問応答の3分野を対象に,最大1,500人の総合ユーザを対象に,パーソナライズされたオープンエンド世代に対するFSPOの評価を行った。
  論文  参考訳（メタデータ） (2025-02-26T17:08:46Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Adaptive Self-Supervised Learning Strategies for Dynamic On-Device LLM Personalization [3.1944843830667766]
  大規模言語モデル(LLM)は私たちがテクノロジと対話する方法に革命をもたらしたが、個々のユーザの好みに対するパーソナライズは依然として大きな課題である。 本稿では,LSMを動的にパーソナライズするために自己指導型学習技術を利用する適応型自己監督学習戦略(ASLS)を提案する。
  論文  参考訳（メタデータ） (2024-09-25T14:35:06Z)
• WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback [28.317315761271804]
  WildFeedbackは、リアルタイムのin-situユーザーインタラクションを活用して、より正確に人間の価値観を反映した好みデータセットを作成する新しいフレームワークである。 我々は,このフレームワークをユーザとLLMの会話の大規模なコーパスに適用し,実際のユーザの好みを反映したリッチな嗜好データセットを実現する。 実験により,WildFeedbackを微調整したLCMは,ユーザの好みに合わせて大幅に改善されていることが示された。
  論文  参考訳（メタデータ） (2024-08-28T05:53:46Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Look into the Future: Deep Contextualized Sequential Recommendation [28.726897673576865]
  我々は、Look into the Future(LIFT)と呼ばれる、シーケンシャルなレコメンデーションの新しいフレームワークを提案する。 LIFTはシーケンシャルなレコメンデーションのコンテキストを構築し、活用する。 本実験では,クリックスルー率予測および評価予測タスクにおいて,LIFTは大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-05-23T09:34:28Z)
• A LLM-based Controllable, Scalable, Human-Involved User Simulator Framework for Conversational Recommender Systems [14.646529557978512]
  Conversational Recommender System (CRS) はユーザからのリアルタイムフィードバックを利用して好みを動的にモデル化する。 LLM(Large Language Models)は、計算能力の新たな時代を迎えている。 ユーザシミュレータの動作を管理するCSHI(Controlable, scalable, and human-Involved)シミュレータフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-13T03:02:56Z)
• Learning Social Graph for Inactive User Recommendation [50.090904659803854]
  LSIRはソーシャルレコメンデーションのための最適なソーシャルグラフ構造を学習する。 実世界のデータセットの実験では、LSIRはNDCGで最大129.58%の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-05-08T03:40:36Z)
• How Reliable is Your Simulator? Analysis on the Limitations of Current LLM-based User Simulators for Conversational Recommendation [14.646529557978512]
  本稿では,対話型レコメンダシステムのためのユーザシミュレータ構築におけるLarge Language Modelsの使用制限について分析する。 会話履歴やユーザシミュレータの応答で発生するデータ漏洩は,評価結果を膨らませる結果となる。 そこで我々はSimpleUserSimを提案する。
  論文  参考訳（メタデータ） (2024-03-25T04:21:06Z)
• Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
  近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。 本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:12:43Z)
• Sim2Rec: A Simulator-based Decision-making Approach to Optimize Real-World Long-term User Engagement in Sequential Recommender Systems [43.31078296862647]
  逐次リコメンデータシステム(SRS)における長期ユーザエンゲージメント(LTE)最適化は強化学習(RL)に適している RLには欠点があり、特に探索には多数のオンラインサンプルが必要である。 シミュレーション・ツー・レコメンデーション(Sim2Rec)というシミュレーターベースの推奨ポリシートレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-03T19:21:25Z)
• PUNR: Pre-training with User Behavior Modeling for News Recommendation [26.349183393252115]
  ニュースレコメンデーションは、ユーザーの行動に基づいてクリック行動を予測することを目的としている。 ユーザの表現を効果的にモデル化する方法が、望ましいニュースを推奨する鍵である。 本研究では,ユーザ行動マスキングとユーザ行動生成という2つのタスクを備えた教師なし事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T08:03:52Z)
• Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
  逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。 しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。 したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
  論文  参考訳（メタデータ） (2022-11-17T19:00:24Z)
• Simulating Bandit Learning from User Feedback for Extractive Question Answering [51.97943858898579]
  教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。 当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2022-03-18T17:47:58Z)
• Intent Contrastive Learning for Sequential Recommendation [86.54439927038968]
  ユーザの意図を表現するために潜伏変数を導入し,クラスタリングにより潜伏変数の分布関数を学習する。 我々は,学習意図を対照的なSSLによってSRモデルに活用し,シーケンスのビューとそれに対応するインテントとの一致を最大化することを提案する。 4つの実世界のデータセットで実施された実験は、提案した学習パラダイムの優位性を示している。
  論文  参考訳（メタデータ） (2022-02-05T09:24:13Z)
• Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning [69.42679922160684]
  本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。 当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
  論文  参考訳（メタデータ） (2020-11-01T19:50:34Z)
• User Memory Reasoning for Conversational Recommendation [68.34475157544246]
  本研究では,ユーザの過去の(オフライン)好みと現在の(オンライン)要求を動的に管理する対話レコメンデーションモデルについて検討する。 MGConvRexはユーザメモリ上の人間レベルの推論をキャプチャし、推奨のためにゼロショット(コールドスタート)推論のためにユーザのトレーニング/テストセットを分離する。
  論文  参考訳（メタデータ） (2020-05-30T05:29:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。