論文の概要: Understanding the Role of User Profile in the Personalization of Large Language Models

• arxiv url: http://arxiv.org/abs/2406.17803v1
• Date: Sat, 22 Jun 2024 14:32:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 17:46:26.708511
• Title: Understanding the Role of User Profile in the Personalization of Large Language Models
• Title（参考訳）: 大規模言語モデルのパーソナライズにおけるユーザプロファイルの役割の理解
• Authors: Bin Wu, Zhengyan Shi, Hossein A. Rahmani, Varsha Ramineni, Emine Yilmaz,
• Abstract要約: 本研究はまず,ユーザプロファイルの有効性が主に意味情報よりもパーソナライズ情報によるものであることを確認した。 ユーザプロファイル内では、LLMをパーソナライズする上で重要な役割を果たすユーザによって作成された、あるいは承認された歴史的なパーソナライズされた応答である。 本研究は,LLMのパーソナライズにおけるユーザプロファイルの役割を明らかにし,ユーザプロファイルの導入がパフォーマンスに与える影響を明らかにした。
• 参考スコア（独自算出の注目度）: 19.74964898049076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Utilizing user profiles to personalize Large Language Models (LLMs) has been shown to enhance the performance on a wide range of tasks. However, the precise role of user profiles and their effect mechanism on LLMs remains unclear. This study first confirms that the effectiveness of user profiles is primarily due to personalization information rather than semantic information. Furthermore, we investigate how user profiles affect the personalization of LLMs. Within the user profile, we reveal that it is the historical personalized response produced or approved by users that plays a pivotal role in personalizing LLMs. This discovery unlocks the potential of LLMs to incorporate a greater number of user profiles within the constraints of limited input length. As for the position of user profiles, we observe that user profiles integrated into different positions of the input context do not contribute equally to personalization. Instead, where the user profile that is closer to the beginning affects more on the personalization of LLMs. Our findings reveal the role of user profiles for the personalization of LLMs, and showcase how incorporating user profiles impacts performance providing insight to leverage user profiles effectively.
• Abstract（参考訳）: LLM(Large Language Models)をパーソナライズするためにユーザプロファイルを利用することで、幅広いタスクのパフォーマンスを向上させることが示されている。 しかし,LLMにおけるユーザプロファイルの正確な役割とその効果メカニズムは未だ不明である。 本研究はまず,ユーザプロファイルの有効性が主に意味情報よりもパーソナライズ情報によるものであることを確認した。 さらに,ユーザプロファイルがLLMのパーソナライズにどのように影響するかを検討する。 ユーザプロファイル内では,LDMをパーソナライズする上で重要な役割を果たすユーザによって作成された,あるいは承認された歴史的パーソナライズされた応答が明らかにされている。 この発見はLLMの可能性を解き明かし、限られた入力長の制約により多くのユーザプロファイルを組み込む。 ユーザプロファイルの位置については、入力コンテキストの異なる位置に統合されたユーザプロファイルがパーソナライズに等しく寄与しないことが観察される。 代わりに、始めに近いユーザープロファイルがLLMのパーソナライズにより多くの影響を及ぼす。 本研究は, LLMのパーソナライズにおけるユーザプロファイルの役割を明らかにし, ユーザプロファイルを組み込むことが, ユーザプロファイルを効果的に活用するための洞察を提供する性能に与える影響を明らかにする。

関連論文リスト

• Few-shot Personalization of LLMs with Mis-aligned Responses [40.0349773257245]
  本稿では,大規模言語モデル(LLM)のパーソナライズのための新しいアプローチを提案する。 私たちのキーとなるアイデアは、LSMを用いてプロンプトを段階的に改善することで、各ユーザに対してパーソナライズされたプロンプトのセットを学ぶことです。 即時改善の反復過程において,LLMによる不整合応答の文脈を取り入れた。
  論文  参考訳（メタデータ） (2024-06-26T18:29:12Z)
• Step-Back Profiling: Distilling User History for Personalized Scientific Writing [50.481041470669766]
  大きな言語モデル(LLM)は、さまざまな自然言語処理タスクに優れていますが、個人向けにパーソナライズされたコンテンツを生成するのに苦労しています。 ユーザ履歴を簡潔なプロファイルに抽出することで,LSMをパーソナライズするためのSTEP-BACK ProFIlingを導入する。 本手法は,一般パーソナライゼーションベンチマークにおいて,ベースラインを最大3.6ポイント向上させる。
  論文  参考訳（メタデータ） (2024-06-20T12:58:26Z)
• Persona-DB: Efficient Large Language Model Personalization for Response Prediction with Collaborative Data Refinement [82.56964750522161]
  本稿では,タスクコンテキスト間の一般化を改善するため,階層的な構築プロセスからなるシンプルなフレームワークであるPersona-DBを紹介する。 応答予測のタスクでは,Persona-DBは,検索サイズを大幅に削減した精度を維持する上で,優れた効率性を示す。 我々の実験は、ユーザーが極めて少ないデータを持つ場合、コールドスタートシナリオで15%以上の顕著な改善が示されていることも示している。
  論文  参考訳（メタデータ） (2024-02-16T20:20:43Z)
• Democratizing Large Language Models via Personalized Parameter-Efficient Fine-tuning [39.0799671550279]
  大規模言語モデル(LLM)のパーソナライゼーションはますます重要になっている。 1つのPEFT Per User (OPPU) は、パーソナライズされたパラメータ効率の微調整(PEFT)モジュールを使用して、ユーザ固有の行動パターンと好みを保存する。 OPPUは、LaMPベンチマークの7つのタスクで既存のプロンプトベースのメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-02-06T21:03:52Z)
• Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging [148.77027765872006]
  パーソナライズされたヒューマンフィードバック(RLPHF)問題からの強化学習について検討する。 LLMは、多目的強化学習(MORL)問題としてアライメントをモデル化することで、複数の好みに整列する。 我々は、好みを複数の次元に分解することで、パーソナライズされたアライメントを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-10-17T20:22:13Z)
• User Inference Attacks on Large Language Models [26.616016510555088]
  ファインチューニング(英: Fine-tuning)は、大規模言語モデル(LLM)を特定のタスクやアプリケーションに合わせるための、一般的で効果的な方法である。 ユーザデータに対する微調整LDMのプライバシーへの影響について検討する。
  論文  参考訳（メタデータ） (2023-10-13T17:24:52Z)
• A Cooperative Memory Network for Personalized Task-oriented Dialogue Systems with Incomplete User Profiles [55.951126447217526]
  ユーザプロファイルの完成を前提とせず,タスク指向対話システムについて検討する。 ユーザプロファイルを徐々に強化する新しいメカニズムを持つ協調記憶ネットワーク(CoMemNN)を提案する。 CoMemNNは、ユーザープロファイルを効果的に強化することができ、応答選択精度の点で3.6%の改善につながります。
  論文  参考訳（メタデータ） (2021-02-16T18:05:54Z)
• Personalized Adaptive Meta Learning for Cold-start User Preference Prediction [46.65783845757707]
  パーソナライズされたユーザーの嗜好予測における共通の課題は、コールドスタート問題である。 メジャーユーザとマイナーユーザの両方を考慮するために,新たなパーソナライズ型適応型メタラーニング手法を提案する。 本手法は, マイノリティとメジャーユーザの両方に対して, 最先端の手法を劇的に向上させる。
  論文  参考訳（メタデータ） (2020-12-22T05:48:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。