論文の概要: Personas within Parameters: Fine-Tuning Small Language Models with Low-Rank Adapters to Mimic User Behaviors

• arxiv url: http://arxiv.org/abs/2509.09689v1
• Date: Mon, 18 Aug 2025 22:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-21 06:05:45.718401
• Title: Personas within Parameters: Fine-Tuning Small Language Models with Low-Rank Adapters to Mimic User Behaviors
• Title（参考訳）: パラメータ内のペルソナ:マイクロユーザ行動に対する低ランク適応子を用いた微調整小言語モデル
• Authors: Himanshu Thakur, Eshani Agrawal, Smruthi Mukund,
• Abstract要約: 正確なレコメンデーションモデルを開発する上での長年の課題は、主にユーザインタラクションの複雑な性質のために、ユーザの振る舞いをシミュレートすることである。 本研究では, 凍結したLarge Language Models (LLMs) を用いてロバストなユーザ表現を抽出し, 微調整小言語モデル (SLMs) を用いたコスト効率, 資源効率のよいユーザエージェントをシミュレートする手法を提案する。 提案手法の有効性を実証し,本手法を用いて開発したユーザエージェントが,オフラインメトリクスとレコメンデータシステムの実環境性能のギャップを埋める可能性を示した。
• 参考スコア（独自算出の注目度）: 1.8352113484137629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A long-standing challenge in developing accurate recommendation models is simulating user behavior, mainly due to the complex and stochastic nature of user interactions. Towards this, one promising line of work has been the use of Large Language Models (LLMs) for simulating user behavior. However, aligning these general-purpose large pre-trained models with user preferences necessitates: (i) effectively and continously parsing large-scale tabular user-item interaction data, (ii) overcoming pre-training-induced inductive biases to accurately learn user specific knowledge, and (iii) achieving the former two at scale for millions of users. While most previous works have focused on complex methods to prompt an LLM or fine-tune it on tabular interaction datasets, our approach shifts the focus to extracting robust textual user representations using a frozen LLM and simulating cost-effective, resource-efficient user agents powered by fine-tuned Small Language Models (SLMs). Further, we showcase a method for training multiple low-rank adapters for groups of users or \textit{persona}, striking an optimal balance between scalability and performance of user behavior agents. Our experiments provide compelling empirical evidence of the efficacy of our methods, demonstrating that user agents developed using our approach have the potential to bridge the gap between offline metrics and real-world performance of recommender systems.
• Abstract（参考訳）: 正確なレコメンデーションモデルを開発する上での長年の課題は、主にユーザインタラクションの複雑で確率的な性質のために、ユーザの振る舞いをシミュレートすることである。 これに向けて、有望な作業の1つは、ユーザの振る舞いをシミュレートするためにLarge Language Models(LLMs)を使用することである。 しかし、これらの汎用的な大規模事前学習モデルとユーザの好みを合わせる必要がある。 (i)大規模タブ状ユーザ・イテムインタラクションデータを効果的かつ連続的に解析する。 (二)事前学習による帰納バイアスを克服し、利用者固有の知識を正確に学習し、 (3)数百万のユーザに対して,前者2を大規模に達成すること。 これまでのほとんどの研究は、LLMをトリガーしたり、表の相互作用データセットを微調整する複雑な手法に重点を置いてきたが、我々のアプローチは、凍結したLLMを使用して堅牢なテキストのユーザ表現を抽出し、細調整された小言語モデル(SLM)をベースとしたコスト効率の高いリソース効率の高いユーザエージェントをシミュレートすることに集中している。 さらに,ユーザグループや‘textit{persona}’に対して複数の低ランクアダプタをトレーニングする方法を紹介し,ユーザ行動エージェントのスケーラビリティと性能の最適なバランスを図った。 提案手法の有効性を実証し,本手法を用いて開発したユーザエージェントが,オフラインメトリクスとレコメンデータシステムの実環境性能のギャップを埋める可能性を示した。

関連論文リスト

• Temporal User Profiling with LLMs: Balancing Short-Term and Long-Term Preferences for Recommendations [3.719862246745416]
  本稿では,短期および長期の嗜好を明示的にモデル化するユーザプロファイリング手法を提案する。 LLM-TUPは、いくつかのベースラインに対して大幅に改善されている。
  論文  参考訳（メタデータ） (2025-08-11T20:28:24Z)
• PersonaAgent: When Large Language Model Agents Meet Personalization at Test Time [87.99027488664282]
  PersonaAgentは、汎用的なパーソナライゼーションタスクに対処するために設計されたフレームワークである。 パーソナライズされたメモリモジュールとパーソナライズされたアクションモジュールを統合する。 テストタイムのユーザ嗜好アライメント戦略は、リアルタイムのユーザの嗜好アライメントを保証する。
  論文  参考訳（メタデータ） (2025-06-06T17:29:49Z)
• Multi-agents based User Values Mining for Recommendation [52.26100802380767]
  効率的なユーザ値抽出のためのゼロショットマルチLLM協調フレームワークを提案する。 本研究は,本質的な意味を保ちながら,項目内容のコンデンスにテキスト要約手法を適用した。 幻覚を緩和するために,評価役と監督役の2つの特殊エージェントの役割を導入する。
  論文  参考訳（メタデータ） (2025-05-02T04:01:31Z)
• Enhancing User Sequence Modeling through Barlow Twins-based Self-Supervised Learning [17.299357794051797]
  本稿では,最先端のSSL手法であるBarlow Twinsを,適切な拡張手法を取り入れたユーザシーケンスモデリングに適用することを提案する。 提案手法は,大規模な負のサンプルバッチの必要性を軽減し,より小さなバッチサイズと限られたラベル付きデータによる効果的な表現学習を実現することを目的としている。
  論文  参考訳（メタデータ） (2025-05-02T02:04:52Z)
• LIBER: Lifelong User Behavior Modeling Based on Large Language Models [42.045535303737694]
  大規模言語モデルに基づく生涯ユーザ行動モデリング(LIBER)を提案する。 LIBERはHuaweiの音楽レコメンデーションサービスにデプロイされ、ユーザーの再生回数と再生時間の3.01%と7.69%を大幅に改善した。
  論文  参考訳（メタデータ） (2024-11-22T03:43:41Z)
• LLM-based Bi-level Multi-interest Learning Framework for Sequential Recommendation [54.396000434574454]
  本稿では,暗黙的行動と明示的意味論的視点を組み合わせた新しい多目的SRフレームワークを提案する。 Implicit Behavioral Interest ModuleとExplicit Semantic Interest Moduleの2つのモジュールが含まれている。 4つの実世界のデータセットの実験は、フレームワークの有効性と実用性を検証する。
  論文  参考訳（メタデータ） (2024-11-14T13:00:23Z)
• Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System [65.93577256431125]
  本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。 このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。 提案手法は従来のSOTA(State-of-the-art)よりも優れている。
  論文  参考訳（メタデータ） (2023-06-16T13:04:56Z)
• User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
  LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。 実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
  論文  参考訳（メタデータ） (2023-06-05T02:58:35Z)
• Self-Supervised Contrastive Learning for Efficient User Satisfaction Prediction in Conversational Agents [35.2098736872247]
  ユーザとエージェントのインタラクションを学習するための,自己指導型コントラスト学習手法を提案する。 自己教師対象を用いた事前学習モデルは,ユーザ満足度予測に転送可能であることを示す。 また、非常に小さなサンプルサイズに対して、より優れた転送性を確保するために、新しい数発の転送学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T18:10:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。