論文の概要: CURP: Codebook-based Continuous User Representation for Personalized Generation with LLMs
- arxiv url: http://arxiv.org/abs/2602.00742v1
- Date: Sat, 31 Jan 2026 14:13:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.366952
- Title: CURP: Codebook-based Continuous User Representation for Personalized Generation with LLMs
- Title(参考訳): CURP:LLMを用いたパーソナライズ生成のためのコードブックベースの連続ユーザ表現
- Authors: Liang Wang, Xinyi Mou, Xiaoyou Liu, Xuanjing Huang, Zhongyu Wei,
- Abstract要約: 双方向ユーザエンコーダと離散プロトタイプコードブックを用いて,多次元ユーザ特性を抽出する新しいフレームワークCURPを提案する。
この設計により、少数のトレーニング可能なパラメータでプラグアンドプレイのパーソナライズが可能となる。
CURPは,強いベースラインに比べて優れた性能と一般化を実現していることを示す。
- 参考スコア(独自算出の注目度): 60.867541073274715
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: User modeling characterizes individuals through their preferences and behavioral patterns to enable personalized simulation and generation with Large Language Models (LLMs) in contemporary approaches. However, existing methods, whether prompt-based or training-based methods, face challenges in balancing personalization quality against computational and data efficiency. We propose a novel framework CURP, which employs a bidirectional user encoder and a discrete prototype codebook to extract multi-dimensional user traits. This design enables plug-and-play personalization with a small number of trainable parameters (about 20M parameters, about 0.2\% of the total model size). Through extensive experiments on variant generation tasks, we show that CURP achieves superior performance and generalization compared to strong baselines, while offering better interpretability and scalability. The code are available at https://github.com/RaidonWong/CURP_code
- Abstract(参考訳): ユーザモデリングは、個人の好みや行動パターンを特徴付け、現代的アプローチでLLM(Large Language Models)を用いたパーソナライズされたシミュレーションと生成を可能にする。
しかし、プロンプトベースの手法やトレーニングベースの手法であっても、パーソナライズ品質と計算とデータ効率のバランスをとる上で、既存の手法は課題に直面している。
双方向ユーザエンコーダと離散プロトタイプコードブックを用いて,多次元ユーザ特性を抽出する新しいフレームワークCURPを提案する。
この設計により、少数のトレーニング可能なパラメータ(約20Mパラメータ、総モデルサイズの0.25%)でプラグアンドプレイのパーソナライズが可能となる。
変分生成タスクの広範な実験を通して、CURPは高いベースラインよりも優れた性能と一般化を実現し、より優れた解釈可能性とスケーラビリティを提供することを示した。
コードはhttps://github.com/RaidonWong/CURP_codeで入手できる。
関連論文リスト
- Multi-Personality Generation of LLMs at Decoding-time [34.04566617442129]
LLMのマルチパーソナリティ生成は基本的な課題である。
既存のアプローチは費用がかかり、スケーラビリティが低い。
本稿では,デコード時間の組み合わせパラダイムに基づく新しい多言語生成フレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-27T09:45:11Z) - Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。
生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
論文 参考訳(メタデータ) (2025-03-24T17:59:03Z) - Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。
個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。
数発のステアライメントのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-18T16:14:59Z) - PAD: Personalized Alignment of LLMs at Decoding-Time [10.347782385286582]
本稿では,LLM出力を推論フェーズにおいて多様なパーソナライズされた嗜好と整合させる新しいフレームワークを提案する。
パーソナライズド・アライメント・アライメント・アライメント・アライメント・アット・デコーディング・タイム(PAD)フレームワークは、テキスト生成プロセスをパーソナライズされた好みから切り離す。
PADは、既存のトレーニングベースのアライメント手法を、多様な嗜好と整合するという点で上回るだけでなく、トレーニング中に見つからない嗜好に対する顕著な一般化性も示している。
論文 参考訳(メタデータ) (2024-10-05T08:00:55Z) - Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。
実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
論文 参考訳(メタデータ) (2024-09-27T08:20:59Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。