論文の概要: SimUSER: Simulating User Behavior with Large Language Models for Recommender System Evaluation
- arxiv url: http://arxiv.org/abs/2504.12722v1
- Date: Thu, 17 Apr 2025 07:57:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-25 22:15:45.842472
- Title: SimUSER: Simulating User Behavior with Large Language Models for Recommender System Evaluation
- Title(参考訳): SimUSER:Recommenderシステム評価のための大規模言語モデルによるユーザ行動のシミュレーション
- Authors: Nicolas Bougie, Narimasa Watanabe,
- Abstract要約: 信頼性と費用対効果を両立させるエージェントフレームワークであるSimを紹介した。
Simは、歴史的データから自己一貫性のあるペルソナを識別し、ユニークな背景と個性を持つユーザープロフィールを豊かにする。
我々は,サムネイルがクリック率,露出効果,レビューがユーザエンゲージメントに与える影響を調べる実験を行った。
- 参考スコア(独自算出の注目度): 1.2430809884830318
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recommender systems play a central role in numerous real-life applications, yet evaluating their performance remains a significant challenge due to the gap between offline metrics and online behaviors. Given the scarcity and limits (e.g., privacy issues) of real user data, we introduce SimUSER, an agent framework that serves as believable and cost-effective human proxies. SimUSER first identifies self-consistent personas from historical data, enriching user profiles with unique backgrounds and personalities. Then, central to this evaluation are users equipped with persona, memory, perception, and brain modules, engaging in interactions with the recommender system. SimUSER exhibits closer alignment with genuine humans than prior work, both at micro and macro levels. Additionally, we conduct insightful experiments to explore the effects of thumbnails on click rates, the exposure effect, and the impact of reviews on user engagement. Finally, we refine recommender system parameters based on offline A/B test results, resulting in improved user engagement in the real world.
- Abstract(参考訳): 多くのリアルタイムアプリケーションにおいて、レコメンダシステムは中心的な役割を果たすが、オフラインメトリクスとオンラインの振る舞いのギャップがあるため、パフォーマンスの評価は依然として大きな課題である。
実際のユーザデータの不足や制限(プライバシー問題など)を考えると、私たちは、信頼できる費用対効果のあるヒューマンプロキシとして機能するエージェントフレームワークであるSimUSERを紹介します。
SimUSERはまず、歴史的データから自己一貫性のあるペルソナを識別し、ユニークな背景と個性を持つユーザープロフィールを豊かにする。
そして、この評価の中心となるのは、ペルソナ、記憶、知覚、脳モジュールを備え、レコメンデータシステムとのインタラクションに従事しているユーザである。
SimUSERは、マイクロレベルとマクロレベルの両方において、以前の作業よりも本物の人間と密接な関係を示す。
さらに,サムネイルがクリック率,露出効果,レビューがユーザエンゲージメントに与える影響について,洞察力のある実験を行った。
最後に、オフラインのA/Bテスト結果に基づいてリコメンデータシステムパラメータを精査し、実世界でのユーザエンゲージメントを改善した。
関連論文リスト
- Search-Based Interaction For Conversation Recommendation via Generative Reward Model Based Simulated User [117.82681846559909]
会話レコメンデーションシステム(CRS)は、マルチターンインタラクションを使用してユーザの好みを捉え、パーソナライズされたレコメンデーションを提供する。
本稿では,CRSと自動インタラクションを行うための生成報酬モデルに基づくシミュレーションユーザGRSUを提案する。
論文 参考訳(メタデータ) (2025-04-29T06:37:30Z) - Exploring the Impact of Personality Traits on Conversational Recommender Systems: A Simulation with Large Language Models [70.180385882195]
本稿では,対話型レコメンダシステム(CRS)のためのパーソナリティを考慮したユーザシミュレーションを提案する。
ユーザエージェントはカスタマイズ可能な性格特性と嗜好を誘導し、システムエージェントはCRS内の現実的な相互作用をシミュレートする説得能力を有する。
実験により,現在最先端のLCMは,特定の性格特性に適合した多様なユーザ応答を効果的に生成できることが示された。
論文 参考訳(メタデータ) (2025-04-09T13:21:17Z) - CreAgent: Towards Long-Term Evaluation of Recommender System under Platform-Creator Information Asymmetry [55.64992650205645]
大規模言語モデルを用いたクリエーターシミュレーションエージェントであるCreAgentを提案する。
ゲーム理論の信念機構と高速でスローな思考フレームワークを取り入れることで、CreAgentはクリエーターの振る舞いを効果的にシミュレートする。
私たちの信頼性検証実験は、CreAgentが現実世界のプラットフォームとクリエーターの行動とよく一致していることを示している。
論文 参考訳(メタデータ) (2025-02-11T07:09:49Z) - Interactive Visualization Recommendation with Hier-SUCB [52.11209329270573]
本稿では,従来のインタラクションからユーザフィードバックを学習する対話型パーソナライズドビジュアライゼーションレコメンデーション(PVisRec)システムを提案する。
よりインタラクティブで正確なレコメンデーションのために、PVisRec設定における文脈的半帯域であるHier-SUCBを提案する。
論文 参考訳(メタデータ) (2025-02-05T17:14:45Z) - Stop Playing the Guessing Game! Target-free User Simulation for Evaluating Conversational Recommender Systems [15.481944998961847]
PEPPERは、実際のユーザインタラクション履歴とレビューから構築された、ターゲットフリーなユーザシミュレータによる評価プロトコルである。
PEPPERは、単純な推測ゲームに陥ることなく、現実的なユーザ-CRS対話を可能にする。
PEPPERは、CRSの嗜好誘発能力を包括的に評価するための詳細な尺度を提示する。
論文 参考訳(メタデータ) (2024-11-25T07:36:20Z) - A LLM-based Controllable, Scalable, Human-Involved User Simulator Framework for Conversational Recommender Systems [14.646529557978512]
Conversational Recommender System (CRS) はユーザからのリアルタイムフィードバックを利用して好みを動的にモデル化する。
LLM(Large Language Models)は、計算能力の新たな時代を迎えている。
ユーザシミュレータの動作を管理するCSHI(Controlable, scalable, and human-Involved)シミュレータフレームワークを提案する。
論文 参考訳(メタデータ) (2024-05-13T03:02:56Z) - On Generative Agents in Recommendation [58.42840923200071]
Agent4Recは、Large Language Modelsに基づいたレコメンデーションのユーザーシミュレータである。
各エージェントは、ページ単位でパーソナライズされた推奨モデルと対話する。
論文 参考訳(メタデータ) (2023-10-16T06:41:16Z) - User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。
実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
論文 参考訳(メタデータ) (2023-06-05T02:58:35Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:12:43Z) - Metaphorical User Simulators for Evaluating Task-oriented Dialogue
Systems [80.77917437785773]
タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。
本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。
また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-02T05:11:03Z) - Measuring Recommender System Effects with Simulated Users [19.09065424910035]
人気バイアスとフィルターバブルは、最もよく研究されているシステムバイアスの2つです。
各種ユーザ行動下におけるレコメンダーシステムの影響を測定するためのシミュレーションフレームワークを提供します。
論文 参考訳(メタデータ) (2021-01-12T14:51:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。