論文の概要: Embedding-to-Prefix: Parameter-Efficient Personalization for Pre-Trained Large Language Models
- arxiv url: http://arxiv.org/abs/2505.17051v1
- Date: Fri, 16 May 2025 13:34:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:33.499821
- Title: Embedding-to-Prefix: Parameter-Efficient Personalization for Pre-Trained Large Language Models
- Title（参考訳）: Embedding-to-Prefix:事前学習された大規模言語モデルに対するパラメータ効率の良いパーソナライゼーション
- Authors: Bernd Huber, Ghazal Fazelnia, Andreas Damianou, Sebastian Peleato, Max Lefarov, Praveen Ravichandran, Marco De Nadai, Mounia Lalmas-Roellke, Paul N. Bennett,
- Abstract要約: 大規模言語モデル(LLM)は、文脈に関連のあるコンテンツを生成するのに優れている。
本研究では,LLMの隠れ表現空間にコンテキスト埋め込みを注入するパラメータ効率の高いEmbeding-to-Prefix(E2P)を提案する。
我々は2つの公開データセットとプロダクション環境でのE2Pの評価を行い、ペルソナチャットでの対話パーソナライゼーション、PENSにおける文脈的見出し生成、音楽とポッドキャストの大規模パーソナライゼーションについて検討した。
- 参考スコア（独自算出の注目度）: 6.445337954429245
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) excel at generating contextually relevant content. However, tailoring these outputs to individual users for effective personalization is a significant challenge. While rich user-specific information often exists as pre-existing user representations, such as embeddings learned from preferences or behaviors, current methods to leverage these for LLM personalization typically require costly fine-tuning or token-heavy prompting. We propose Embedding-to-Prefix (E2P), a parameter-efficient method that injects pre-computed context embeddings into an LLM's hidden representation space through a learned projection to a single soft token prefix. This enables effective personalization while keeping the backbone model frozen and avoiding expensive adaptation techniques. We evaluate E2P across two public datasets and in a production setting: dialogue personalization on Persona-Chat, contextual headline generation on PENS, and large-scale personalization for music and podcast consumption. Results show that E2P preserves contextual signals and achieves strong performance with minimal computational overhead, offering a scalable, efficient solution for contextualizing generative AI systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、文脈に関連のあるコンテンツを生成するのに優れている。
しかし、効果的なパーソナライズのためにこれらのアウトプットを個別にカスタマイズすることは大きな課題である。
リッチなユーザ固有情報は、好みや振る舞いから学んだ埋め込みなど、既存のユーザ表現として存在していることが多いが、LLMのパーソナライゼーションにこれらを活用するには、通常、コストのかかる微調整やトークン重みのプロンプトが必要になる。
本研究では,LLMの隠れ表現空間に事前計算されたコンテキスト埋め込みを1つのソフトトークンプレフィックスへの学習プロジェクションを通じて注入する,パラメータ効率のよいEmbedding-to-Prefix(E2P)を提案する。
これにより、バックボーンモデルを凍結させながら効果的にパーソナライズでき、高価な適応テクニックを避けることができる。
我々は2つの公開データセットとプロダクション環境でのE2Pの評価を行い、ペルソナチャットでの対話パーソナライゼーション、PENSにおける文脈的見出し生成、音楽とポッドキャストの大規模パーソナライゼーションについて検討した。
その結果、E2Pは文脈的信号を保持し、最小の計算オーバーヘッドで強力な性能を達成し、生成AIシステムをコンテキスト化するためのスケーラブルで効率的なソリューションを提供することがわかった。
関連論文リスト
- Personalized Text Generation with Contrastive Activation Steering [63.60368120937822]
そこで本研究では,ベクタとしてパーソナライズされた書体スタイルを分離し,表現する学習自由フレームワークを提案する。
本フレームワークは,PEFT法よりも1700倍のストレージ要求を削減しつつ,パーソナライズ生成において,8%の相対的な改善を実現している。
論文 参考訳（メタデータ） (2025-03-07T08:07:15Z) - Personalize Your LLM: Fake it then Align it [12.436528089142698]
CHAMELEONは、自己生成した個人嗜好データと表現編集を利用する、スケーラブルで効率的なパーソナライズ手法である。
実験の結果,CHAMELEONは個人選好に効率よく適応し,指導訓練モデルを改善し,平均40%のパーソナライズベースラインを上回り,2つのパーソナライズベースラインを達成できた。
論文 参考訳（メタデータ） (2025-03-02T22:40:10Z) - FSPO: Few-Shot Preference Optimization of Synthetic Preference Data in LLMs Elicits Effective Personalization to Real Users [111.56469697145519]
メタ学習問題として報酬モデルを再設計するFew-Shot Preference Optimizationを提案する。
このフレームワークでは、LDMはそのユーザからいくつかのラベル付けされた好みを通じてユーザへの迅速な適応を学び、パーソナライズされた報酬関数を構築する。
公開されているLLMを用いて100万以上の合成パーソナライズされた好みを生成する。
本研究は,映画レビュー,教育背景に基づく教育適応,一般質問応答の3分野を対象に,最大1,500人の総合ユーザを対象に,パーソナライズされたオープンエンド世代に対するFSPOの評価を行った。
論文 参考訳（メタデータ） (2025-02-26T17:08:46Z) - Personalized Preference Fine-tuning of Diffusion Models [75.22218338096316]
拡散モデルとパーソナライズされた嗜好を整合させるマルチリワード最適化の目的であるPDを導入する。
PPDでは、拡散モデルがユーザーの個人の好みを数秒で学習する。
提案手法は,Stable Cascadeに対して平均76%の勝利率を達成し,特定のユーザの好みをより正確に反映した画像を生成する。
論文 参考訳（メタデータ） (2025-01-11T22:38:41Z) - Personalized Graph-Based Retrieval for Large Language Models [51.7278897841697]
ユーザ中心の知識グラフを利用してパーソナライゼーションを強化するフレームワークを提案する。
構造化されたユーザ知識を直接検索プロセスに統合し、ユーザ関連コンテキストにプロンプトを拡大することにより、PGraphはコンテキスト理解と出力品質を向上させる。
また,ユーザ履歴が不足あるいは利用できない実環境において,パーソナライズされたテキスト生成タスクを評価するために設計された,パーソナライズドグラフベースのテキスト生成ベンチマークを導入する。
論文 参考訳（メタデータ） (2025-01-04T01:46:49Z) - ULMRec: User-centric Large Language Model for Sequential Recommendation [16.494996929730927]
ユーザがカスタマイズした好みを大規模言語モデルに統合するフレームワークであるULMRecを提案する。
2つの公開データセットに対する大規模な実験は、ULMRecが既存の手法を大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2024-12-07T05:37:00Z) - MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。
LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。
提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
論文 参考訳（メタデータ） (2024-10-18T05:31:13Z) - LLMs + Persona-Plug = Personalized LLMs [41.60364110693824]
パーソナライゼーションは多くの言語タスクやアプリケーションにおいて重要な役割を担っている。
これにより、大きな言語モデル(LLM)を適用して、ユーザの好みに合わせてカスタマイズされたアウトプットを生成する、さまざまなパーソナライズされたアプローチが開発された。
そこで我々は,LLMモデルを提案する。軽量なプラグインユーザ埋め込みモジュールを用いて,過去の状況をすべてモデル化し,個人毎のユーザ固有の埋め込みを構築する。
論文 参考訳（メタデータ） (2024-09-18T11:54:45Z) - Doing Personal LAPS: LLM-Augmented Dialogue Construction for Personalized Multi-Session Conversational Search [9.243535345193711]
提案手法は,大規模言語モデルを用いて,個人化された対話を生成するために,一人の人間労働者を誘導する。
LAPSは大規模、人書き、マルチセッション、マルチドメインの会話を収集できる。
その結果,抽出された嗜好を用いて明示的に生成した応答は,ユーザの実際の嗜好と一致していることがわかった。
論文 参考訳（メタデータ） (2024-05-06T13:53:03Z) - PMG : Personalized Multimodal Generation with Large Language Models [20.778869086174137]
本稿では,大規模言語モデル(LLM)を用いたパーソナライズされたマルチモーダル生成手法を提案する。
2つのデータセットに関する広範な実験を通じて、その応用を実証し、その性能を検証する。
PMGのパーソナライゼーションはLPIPSで最大8%向上し, 生成精度は向上した。
論文 参考訳（メタデータ） (2024-04-07T03:05:57Z) - Personalized Language Modeling from Personalized Human Feedback [45.16986573937782]
パーソナライズされた大規模言語モデル(LLM)は、個々のユーザの好みに応答するように設計されている。
個人の好みを捉えるために軽量なユーザモデルを利用する効率的なフレームワークであるPersonalized-RLHFを提案する。
P-RLHF を用いて学習したパーソナライズされた LLM は,個々のユーザの好みとより密に一致した応答を生成する。
論文 参考訳（メタデータ） (2024-02-06T04:18:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。