論文の概要: Democratizing Large Language Models via Personalized Parameter-Efficient
Fine-tuning
- arxiv url: http://arxiv.org/abs/2402.04401v1
- Date: Tue, 6 Feb 2024 21:03:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 17:56:05.016974
- Title: Democratizing Large Language Models via Personalized Parameter-Efficient
Fine-tuning
- Title(参考訳): 個人化パラメータ効率の良い微調整による大規模言語モデルの民主化
- Authors: Zhaoxuan Tan, Qingkai Zeng, Yijun Tian, Zheyuan Liu, Bing Yin, Meng
Jiang
- Abstract要約: 大規模言語モデル(LLM)のパーソナライゼーションはますます重要になっている。
1つのPEFT Per User (OPPU) は、パーソナライズされたパラメータ効率の微調整(PEFT)モジュールを使用して、ユーザ固有の行動パターンと好みを保存する。
OPPUは、LaMPベンチマークの7つのタスクで既存のプロンプトベースのメソッドよりも大幅に優れています。
- 参考スコア(独自算出の注目度): 39.0799671550279
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalization in large language models (LLMs) is increasingly important,
aiming to align LLM's interactions, content, and recommendations with
individual user preferences. Recent advances in LLM personalization have
spotlighted effective prompt design, by enriching user queries with
non-parametric knowledge through behavior history retrieval and textual
profiles. However, these approaches were limited due to a lack of model
ownership, resulting in constrained customization and privacy issues. Moreover,
they often failed to accurately capture user behavior patterns, especially in
cases where user data were complex and dynamic. To address these shortcomings,
we introduce One PEFT Per User (OPPU), which employs personalized
parameter-efficient fine-tuning (PEFT) modules, to store user-specific behavior
patterns and preferences. By plugging in users' personal PEFT parameters, they
can own and use their LLMs personally. OPPU integrates parametric user
knowledge in the personal PEFT parameters with the non-parametric knowledge
acquired through retrieval and profile. This integration adapts individual LLMs
to user behavior shifts. Experimental results demonstrate that OPPU
significantly outperforms existing prompt-based methods across seven diverse
tasks in the LaMP benchmark. Further in-depth studies reveal OPPU's enhanced
capabilities in handling user behavior shifts, modeling users at different
active levels, maintaining robustness across various user history formats, and
displaying versatility with different PEFT methods.
- Abstract(参考訳): 大規模言語モデル(LLM)におけるパーソナライゼーションは、LLMのインタラクション、コンテンツ、レコメンデーションを個々のユーザの好みに合わせることを目的として、ますます重要になっている。
llmパーソナライゼーションの最近の進歩は、行動履歴検索とテキストプロファイルによる非パラメトリック知識によるユーザクエリの強化によって、効果的なプロンプトデザインにスポットライトを当てている。
しかし、これらのアプローチはモデルオーナシップの欠如によって制限され、カスタマイズとプライバシの問題に繋がった。
さらに、特にユーザデータが複雑でダイナミックな場合に、ユーザの振る舞いパターンを正確に捉えられなかったことも少なくありません。
これらの欠点に対処するため,ユーザ固有の行動パターンや好みを格納するために,PEFTモジュールをパーソナライズするOne PEFT Per User (OPPU)を導入する。
ユーザのPEFTパラメータをプラグインすることで、個人でLLMを所有および使用することができる。
OPPUは、個人PEFTパラメータにパラメトリックユーザ知識を、検索とプロファイルを通じて取得した非パラメトリック知識と統合する。
この統合は個々のllmをユーザの動作シフトに適応させる。
実験の結果,OPPUはLaMPベンチマークの7つのタスクにおいて,既存のプロンプトベースの手法よりも有意に優れていた。
さらに詳細な研究により、OPPUのユーザ行動シフト処理能力の強化、異なるアクティブレベルでのユーザモデリング、さまざまなユーザ履歴フォーマット間の堅牢性維持、異なるPEFTメソッドによる汎用性の表示が明らかになった。
関連論文リスト
- PMG : Personalized Multimodal Generation with Large Language Models [20.778869086174137]
本稿では,大規模言語モデル(LLM)を用いたパーソナライズされたマルチモーダル生成手法を提案する。
2つのデータセットに関する広範な実験を通じて、その応用を実証し、その性能を検証する。
PMGのパーソナライゼーションはLPIPSで最大8%向上し, 生成精度は向上した。
論文 参考訳(メタデータ) (2024-04-07T03:05:57Z) - Not All Experts are Equal: Efficient Expert Pruning and Skipping for
Mixture-of-Experts Large Language Models [94.02958592636972]
MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。
本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
論文 参考訳(メタデータ) (2024-02-22T18:56:07Z) - Relative Preference Optimization: Enhancing LLM Alignment through
Contrasting Responses across Identical and Diverse Prompts [100.76940486636121]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文で提示された結果を再現するために必要なPyTorchコードは、GitHubで公開されている。
論文 参考訳(メタデータ) (2024-02-12T22:47:57Z) - Active Preference Inference using Language Models and Probabilistic
Reasoning [15.198912276468198]
本稿では,大規模言語モデルによるユーザの嗜好の推測を支援する推論時アルゴリズムを提案する。
我々のアルゴリズムは, LLM を誘導することで条件分布が定義される確率モデルを用いている。
実商品を用いた簡易な対話型Webショッピング設定の結果, エントロピー低減アルゴリズムを備えたLCMは, ベースラインよりも優れていた。
論文 参考訳(メタデータ) (2023-12-19T09:58:54Z) - Integrating Summarization and Retrieval for Enhanced Personalization via
Large Language Models [11.950478880423733]
パーソナライゼーションは自然言語処理(NLP)システムにおけるユーザエクスペリエンスにおいて重要な要素である。
LLM(Large Language Models)の出現によって、重要な疑問は、これらのモデルを使ってユーザエクスペリエンスをよりパーソナライズする方法である。
LLMが生成するタスク対応ユーザ要約を用いた,新しい要約型パーソナライゼーションを提案する。
論文 参考訳(メタデータ) (2023-10-30T23:40:41Z) - User Inference Attacks on Large Language Models [26.616016510555088]
ファインチューニング(英: Fine-tuning)は、大規模言語モデル(LLM)を特定のタスクやアプリケーションに合わせるための、一般的で効果的な方法である。
ユーザデータに対する微調整LDMのプライバシーへの影響について検討する。
論文 参考訳(メタデータ) (2023-10-13T17:24:52Z) - Interactive Hyperparameter Optimization in Multi-Objective Problems via
Preference Learning [65.51668094117802]
我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。
ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
論文 参考訳(メタデータ) (2023-09-07T09:22:05Z) - Explainable Active Learning for Preference Elicitation [0.0]
我々は、最小限のユーザ労力で情報取得を最大化することを目的として、この問題を解決するためにアクティブラーニング(AL)を採用している。
ALは、大きなラベルのない集合から情報的データを選択して、それらをラベル付けするオラクルを問い合わせる。
ベースとなる機械学習(ML)モデルを更新するために、ユーザからのフィードバック(提示された項目に関するシステムの説明のために)を情報的なサンプルから収集する。
論文 参考訳(メタデータ) (2023-09-01T09:22:33Z) - The Minority Matters: A Diversity-Promoting Collaborative Metric
Learning Algorithm [154.47590401735323]
CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。
本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。
textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2022-09-30T08:02:18Z) - Unsupervised Model Personalization while Preserving Privacy and
Scalability: An Open Problem [55.21502268698577]
本研究では,非教師なしモデルパーソナライゼーションの課題について検討する。
この問題を探求するための新しいDual User-Adaptation Framework(DUA)を提供する。
このフレームワークは、サーバ上のモデルパーソナライズとユーザデバイス上のローカルデータ正規化に柔軟にユーザ適応を分散させる。
論文 参考訳(メタデータ) (2020-03-30T09:35:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。