論文の概要: Latent Inter-User Difference Modeling for LLM Personalization
- arxiv url: http://arxiv.org/abs/2507.20849v1
- Date: Mon, 28 Jul 2025 14:00:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:58.143719
- Title: Latent Inter-User Difference Modeling for LLM Personalization
- Title(参考訳): LLMパーソナライズのための潜在ユーザ間差分モデル
- Authors: Yilun Qiu, Tianhao Shi, Xiaoyan Zhao, Fengbin Zhu, Yang Zhang, Fuli Feng,
- Abstract要約: 差分認識の埋め込みに基づくパーソナライゼーション(DEP)は、言語プロンプトに頼るのではなく、潜在空間におけるユーザ間差をモデル化するフレームワークである。
スパースオートエンコーダは、ユーザ固有の埋め込みと差分認識の埋め込みの両方をフィルタリングして圧縮し、タスク関連機能のみを保存する。
- 参考スコア(独自算出の注目度): 30.02303474973707
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly integrated into users' daily lives, leading to a growing demand for personalized outputs. Previous work focuses on leveraging a user's own history, overlooking inter-user differences that are crucial for effective personalization. While recent work has attempted to model such differences, the reliance on language-based prompts often hampers the effective extraction of meaningful distinctions. To address these issues, we propose Difference-aware Embedding-based Personalization (DEP), a framework that models inter-user differences in the latent space instead of relying on language prompts. DEP constructs soft prompts by contrasting a user's embedding with those of peers who engaged with similar content, highlighting relative behavioral signals. A sparse autoencoder then filters and compresses both user-specific and difference-aware embeddings, preserving only task-relevant features before injecting them into a frozen LLM. Experiments on personalized review generation show that DEP consistently outperforms baseline methods across multiple metrics. Our code is available at https://github.com/SnowCharmQ/DEP.
- Abstract(参考訳): 大規模言語モデル(LLM)は、ユーザの日常生活にますます統合され、パーソナライズされたアウトプットへの需要が高まっている。
これまでの研究は、効果的なパーソナライズに不可欠なユーザ間の差異を見越して、ユーザ自身の履歴を活用することに重点を置いていた。
近年の研究はそのような違いをモデル化しようと試みているが、言語に基づくプロンプトへの依存は、意味のある区別を効果的に抽出することを妨げることがしばしばある。
これらの問題に対処するために、言語プロンプトに頼るのではなく、潜在空間におけるユーザ間差異をモデル化するフレームワークである差分認識埋め込み型パーソナライゼーション(DEP)を提案する。
DEPは、ユーザの埋め込みを、類似したコンテンツに関わった仲間と対比し、相対的な行動信号を強調することで、ソフトプロンプトを構築する。
スパースオートエンコーダはユーザー固有の埋め込みと差分認識の埋め込みの両方をフィルタリングして圧縮し、凍結したLCMに注入する前にタスク関連の機能だけを保存する。
パーソナライズされたレビュー生成の実験は、DEPが複数のメトリクスでベースラインメソッドを一貫して上回っていることを示している。
私たちのコードはhttps://github.com/SnowCharmQ/DEPで公開されています。
関連論文リスト
- A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations [112.81207927088117]
PersonaConvBenchは、大規模言語モデル(LLM)とのマルチターン会話におけるパーソナライズされた推論と生成を評価するためのベンチマークである。
我々は,複数の商用およびオープンソース LLM を統一的なプロンプト設定でベンチマークし,パーソナライズされた履歴を組み込むことで大幅な性能向上が得られることを観察した。
論文 参考訳(メタデータ) (2025-05-20T09:13:22Z) - Measuring What Makes You Unique: Difference-Aware User Modeling for Enhancing LLM Personalization [68.79814761867314]
本稿では,Large Language Models (LLM) のパーソナライゼーションを強化するために,差分認識パーソナライズ学習(DPL)を提案する。
DPLは、戦略的に代表ユーザを比較のために選択し、タスク関連の違いを抽出するための構造化標準を確立する。
実世界のデータセットの実験により、DPLはLLMのパーソナライゼーションを大幅に向上させることが示された。
論文 参考訳(メタデータ) (2025-03-04T09:53:26Z) - Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
調整可能な大きな言語モデル(LLM)をトレーニングします。
木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。
評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
論文 参考訳(メタデータ) (2024-10-04T17:48:29Z) - LLMs + Persona-Plug = Personalized LLMs [41.60364110693824]
パーソナライゼーションは多くの言語タスクやアプリケーションにおいて重要な役割を担っている。
これにより、大きな言語モデル(LLM)を適用して、ユーザの好みに合わせてカスタマイズされたアウトプットを生成する、さまざまなパーソナライズされたアプローチが開発された。
そこで我々は,LLMモデルを提案する。軽量なプラグインユーザ埋め込みモジュールを用いて,過去の状況をすべてモデル化し,個人毎のユーザ固有の埋め込みを構築する。
論文 参考訳(メタデータ) (2024-09-18T11:54:45Z) - PEFT-U: Parameter-Efficient Fine-Tuning for User Personalization [9.594958534074074]
ユーザパーソナライズのためのNLPモデルの構築と評価のための新しいデータセットであるPEFT-Uベンチマークを紹介する。
多様なユーザ中心タスクのコンテキストにおいて、LLMを効率よくパーソナライズし、ユーザ固有の嗜好に適合させるという課題について検討する。
論文 参考訳(メタデータ) (2024-07-25T14:36:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。