論文の概要: Beyond Retrieval: Learning Compact User Representations for Scalable LLM Personalization

• arxiv url: http://arxiv.org/abs/2606.04547v1
• Date: Wed, 03 Jun 2026 07:32:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.606095
• Title: Beyond Retrieval: Learning Compact User Representations for Scalable LLM Personalization
• Title（参考訳）: Beyond Retrieval: スケーラブルなLLMパーソナライゼーションのためのコンパクトなユーザ表現の学習
• Authors: Heng Cao, Fan Zhang, Jian Yao, Yujie Zheng, Changlin Zhao, Lu Hao, Yuxuan Wei, Wangze Ni, Huaiyu Fu, Yuqian Sun, Xuyan Mo,
• Abstract要約: ユーザの好みを学習可能な表現としてエンコードするフレームワークであるTAP-PERを提案する。 6つのLaMPタスクの実験では、TAP-PERはプロンプトベースとモデルベースベースラインを一貫して上回っている。 TAP-PERはユーザ毎のパラメータをOPPUの130倍少なくし、PER-PCSの総パラメータフットプリントの約半分をユーザスケールで使用している。
• 参考スコア（独自算出の注目度）: 9.496320762102252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalizing large language models requires adapting model behavior to individual users while preserving robustness and deployment-scale efficiency. Existing approaches typically personalize LLMs either at the input level, by retrieving user histories or constructing profile prompts, or at the parameter level, by maintaining user-specific parameter-efficient modules. The former makes personalization sensitive to retrieval quality and prompt design, whereas the latter incurs storage and maintenance costs that grow with the user population. To address these limitations, we propose TAP-PER (Temporal Attentive Prefix for PERsonalization), a prefix-based framework that encodes user preferences as learnable representations, eliminating explicit prompt construction and replacing heavy per-user adapters with lightweight user-state prefix embeddings. Inspired by personalized recommendation systems, TAP-PER decomposes user modeling into user-state and query-conditioned components, and incorporates temporal signals to capture the evolving nature of user interests. Experiments on six LaMP tasks show that TAP-PER consistently outperforms prompt-based and model-based baselines across classification, rating, and generation settings. Moreover, TAP-PER uses 130x fewer per-user parameters than OPPU and roughly half the total parameter footprint of PER-PCS at the 1,000-user scale, demonstrating that scalable LLM personalization can be achieved without explicit prompt construction or heavy per-user adapters.
• Abstract（参考訳）: 大規模言語モデルのパーソナライズには、堅牢性とデプロイメントスケールの効率を保ちながら、個々のユーザに対してモデル動作を適用する必要がある。 既存のアプローチでは、入力レベル、ユーザ履歴の検索、プロファイルプロンプトの構築、あるいはパラメータレベルでのユーザ固有のパラメータ効率のモジュールを維持することで、LSMをパーソナライズするのが一般的である。 前者は検索品質に敏感なパーソナライゼーションを行い、後者はユーザ数の増加に伴ってストレージとメンテナンスコストが増大する。 ユーザの好みを学習可能な表現としてエンコードするプレフィックスベースのフレームワークであるTAP-PER(Temporal Attentive Prefix for PERsonalization)を提案する。 パーソナライズされたレコメンデーションシステムにインスパイアされたTAP-PERは、ユーザモデリングをユーザ状態およびクエリ条件コンポーネントに分解し、時間信号を組み込んで、ユーザ興味の進化する性質を捉える。 6つのLaMPタスクの実験では、TAP-PERは、分類、評価、生成設定において、プロンプトベースのベースラインとモデルベースのベースラインを一貫して上回っている。 さらに、TAP-PERはユーザ毎のパラメータをOPPUよりも130倍少なくし、1,000ユーザ規模のPER-PCSの総パラメータフットプリントの約半分を使用でき、拡張性のあるLCMパーソナライゼーションはユーザ毎の明示的なプロンプトや重いアダプタを使わずに実現できることを示した。

関連論文リスト

• Synthetic Interaction Data for Scalable Personalization in Large Language Models [67.31884245564086]
  本稿ではPersonaGymという高忠実な合成データ生成フレームワークを紹介する。 パーソナライゼーションを静的なペルソナ-参照ペアとして扱う以前の作業とは異なり、PersonaGymは動的な選好プロセスをモデル化する。 我々は,高忠実度マルチターンパーソナライズされたインタラクショントラジェクトリの大規模かつ高品質で多様な合成データセットであるPersonaAtlasをリリースする。
  論文  参考訳（メタデータ） (2026-02-12T20:41:22Z)
• CURP: Codebook-based Continuous User Representation for Personalized Generation with LLMs [60.867541073274715]
  双方向ユーザエンコーダと離散プロトタイプコードブックを用いて,多次元ユーザ特性を抽出する新しいフレームワークCURPを提案する。 この設計により、少数のトレーニング可能なパラメータでプラグアンドプレイのパーソナライズが可能となる。 CURPは,強いベースラインに比べて優れた性能と一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-01-31T14:13:06Z)
• One Adapts to Any: Meta Reward Modeling for Personalized LLM Alignment [55.86333374784959]
  これらの制約に対処するには、データの適合からユーザの好みを学習し、嗜好適応のプロセスを学ぶためのパラダイムシフトが必要である、と我々は主張する。 メタ学習問題としてパーソナライズされた報酬モデルを変更するメタリワードモデリング(MRM)を提案する。 MRMはパーソナライズを強化し、ユーザの堅牢性を向上し、ベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-01-26T17:55:52Z)
• Towards Effective Model Editing for LLM Personalization [36.236438676571034]
  我々はパーソナライズをモデル編集タスクとして概念化し、パーソナライズ編集を導入する。 このフレームワークは、クラスタ化された選好表現によってガイドされる局所的な編集を適用する。 微調整よりも高い編集精度と計算効率を実現する。
  論文  参考訳（メタデータ） (2025-12-15T18:58:15Z)
• Instant Personalized Large Language Model Adaptation via Hypernetwork [56.512539596908745]
  Profile-to-PEFTは、ハイパーネットワークでトレーニングされたエンドツーエンドを使用して、ユーザのエンコードされたプロファイルを直接、アダプタパラメータの完全なセットにマッピングするスケーラブルなフレームワークである。 提案手法は,展開時に計算資源を著しく減らしながら,プロンプトベースのパーソナライゼーションとOPPUの両方に優れることを示す。
  論文  参考訳（メタデータ） (2025-10-18T00:41:25Z)
• PersonaAgent: When Large Language Model Agents Meet Personalization at Test Time [87.99027488664282]
  PersonaAgentは、汎用的なパーソナライゼーションタスクに対処するために設計されたフレームワークである。 パーソナライズされたメモリモジュールとパーソナライズされたアクションモジュールを統合する。 テストタイムのユーザ嗜好アライメント戦略は、リアルタイムのユーザの嗜好アライメントを保証する。
  論文  参考訳（メタデータ） (2025-06-06T17:29:49Z)
• Democratizing Large Language Models via Personalized Parameter-Efficient Fine-tuning [36.88126051792774]
  大規模言語モデル(LLM)のパーソナライゼーションはますます重要になっている。 1つのPEFT Per User (OPPU) は、パーソナライズされたパラメータ効率の微調整(PEFT)モジュールを使用して、ユーザ固有の行動パターンと好みを保存する。 OPPUは、LaMPベンチマークの7つのタスクで既存のプロンプトベースのメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-02-06T21:03:52Z)
• Unsupervised Model Personalization while Preserving Privacy and Scalability: An Open Problem [55.21502268698577]
  本研究では,非教師なしモデルパーソナライゼーションの課題について検討する。 この問題を探求するための新しいDual User-Adaptation Framework(DUA)を提供する。 このフレームワークは、サーバ上のモデルパーソナライズとユーザデバイス上のローカルデータ正規化に柔軟にユーザ適応を分散させる。
  論文  参考訳（メタデータ） (2020-03-30T09:35:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。