論文の概要: Understanding the Role of User Profile in the Personalization of Large Language Models

• arxiv url: http://arxiv.org/abs/2406.17803v1
• Date: Sat, 22 Jun 2024 14:32:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 17:46:26.708511
• Title: Understanding the Role of User Profile in the Personalization of Large Language Models
• Title（参考訳）: 大規模言語モデルのパーソナライズにおけるユーザプロファイルの役割の理解
• Authors: Bin Wu, Zhengyan Shi, Hossein A. Rahmani, Varsha Ramineni, Emine Yilmaz,
• Abstract要約: 本研究はまず,ユーザプロファイルの有効性が主に意味情報よりもパーソナライズ情報によるものであることを確認した。 ユーザプロファイル内では、LLMをパーソナライズする上で重要な役割を果たすユーザによって作成された、あるいは承認された歴史的なパーソナライズされた応答である。 本研究は,LLMのパーソナライズにおけるユーザプロファイルの役割を明らかにし,ユーザプロファイルの導入がパフォーマンスに与える影響を明らかにした。
• 参考スコア（独自算出の注目度）: 19.74964898049076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Utilizing user profiles to personalize Large Language Models (LLMs) has been shown to enhance the performance on a wide range of tasks. However, the precise role of user profiles and their effect mechanism on LLMs remains unclear. This study first confirms that the effectiveness of user profiles is primarily due to personalization information rather than semantic information. Furthermore, we investigate how user profiles affect the personalization of LLMs. Within the user profile, we reveal that it is the historical personalized response produced or approved by users that plays a pivotal role in personalizing LLMs. This discovery unlocks the potential of LLMs to incorporate a greater number of user profiles within the constraints of limited input length. As for the position of user profiles, we observe that user profiles integrated into different positions of the input context do not contribute equally to personalization. Instead, where the user profile that is closer to the beginning affects more on the personalization of LLMs. Our findings reveal the role of user profiles for the personalization of LLMs, and showcase how incorporating user profiles impacts performance providing insight to leverage user profiles effectively.
• Abstract（参考訳）: LLM(Large Language Models)をパーソナライズするためにユーザプロファイルを利用することで、幅広いタスクのパフォーマンスを向上させることが示されている。 しかし,LLMにおけるユーザプロファイルの正確な役割とその効果メカニズムは未だ不明である。 本研究はまず,ユーザプロファイルの有効性が主に意味情報よりもパーソナライズ情報によるものであることを確認した。 さらに,ユーザプロファイルがLLMのパーソナライズにどのように影響するかを検討する。 ユーザプロファイル内では,LDMをパーソナライズする上で重要な役割を果たすユーザによって作成された,あるいは承認された歴史的パーソナライズされた応答が明らかにされている。 この発見はLLMの可能性を解き明かし、限られた入力長の制約により多くのユーザプロファイルを組み込む。 ユーザプロファイルの位置については、入力コンテキストの異なる位置に統合されたユーザプロファイルがパーソナライズに等しく寄与しないことが観察される。 代わりに、始めに近いユーザープロファイルがLLMのパーソナライズにより多くの影響を及ぼす。 本研究は, LLMのパーソナライズにおけるユーザプロファイルの役割を明らかにし, ユーザプロファイルを組み込むことが, ユーザプロファイルを効果的に活用するための洞察を提供する性能に与える影響を明らかにする。

関連論文リスト

• Optimizing Data Delivery: Insights from User Preferences on Visuals, Tables, and Text [59.68239795065175]
  ユーザが質問を提示するユーザスタディを実施し、何を見たいのかを尋ねます。 ユーザの個人的特性が、彼らが好むデータ出力に影響を与えることを確認するために、このデータを使用します。
  論文  参考訳（メタデータ） (2024-11-12T00:24:31Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• LLMs + Persona-Plug = Personalized LLMs [41.60364110693824]
  パーソナライゼーションは多くの言語タスクやアプリケーションにおいて重要な役割を担っている。 これにより、大きな言語モデル(LLM)を適用して、ユーザの好みに合わせてカスタマイズされたアウトプットを生成する、さまざまなパーソナライズされたアプローチが開発された。 そこで我々は,LLMモデルを提案する。軽量なプラグインユーザ埋め込みモジュールを用いて,過去の状況をすべてモデル化し,個人毎のユーザ固有の埋め込みを構築する。
  論文  参考訳（メタデータ） (2024-09-18T11:54:45Z)
• Prompt Tuning as User Inherent Profile Inference Machine [53.78398656789463]
  本稿では,ユーザプロファイルの推測にプロンプトチューニングを用いるUserIP-Tuningを提案する。 プロファイル量子化コードブックは、プロファイル埋め込みによるモダリティギャップを協調IDにブリッジする。 4つの公開データセットの実験では、UserIP-Tuningは最先端のレコメンデーションアルゴリズムを上回っている。
  論文  参考訳（メタデータ） (2024-08-13T02:25:46Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• Few-shot Personalization of LLMs with Mis-aligned Responses [40.0349773257245]
  本稿では,大規模言語モデル(LLM)のパーソナライズのための新しいアプローチを提案する。 私たちのキーとなるアイデアは、LSMを用いてプロンプトを段階的に改善することで、各ユーザに対してパーソナライズされたプロンプトのセットを学ぶことです。 即時改善の反復過程において,LLMによる不整合応答の文脈を取り入れた。
  論文  参考訳（メタデータ） (2024-06-26T18:29:12Z)
• Step-Back Profiling: Distilling User History for Personalized Scientific Writing [50.481041470669766]
  大きな言語モデル(LLM)は、さまざまな自然言語処理タスクに優れていますが、個人向けにパーソナライズされたコンテンツを生成するのに苦労しています。 ユーザ履歴を簡潔なプロファイルに抽出することで,LSMをパーソナライズするためのSTEP-BACK ProFIlingを導入する。 本手法は,一般パーソナライゼーションベンチマークにおいて,ベースラインを最大3.6ポイント向上させる。
  論文  参考訳（メタデータ） (2024-06-20T12:58:26Z)
• Democratizing Large Language Models via Personalized Parameter-Efficient Fine-tuning [36.88126051792774]
  大規模言語モデル(LLM)のパーソナライゼーションはますます重要になっている。 1つのPEFT Per User (OPPU) は、パーソナライズされたパラメータ効率の微調整(PEFT)モジュールを使用して、ユーザ固有の行動パターンと好みを保存する。 OPPUは、LaMPベンチマークの7つのタスクで既存のプロンプトベースのメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-02-06T21:03:52Z)
• A Cooperative Memory Network for Personalized Task-oriented Dialogue Systems with Incomplete User Profiles [55.951126447217526]
  ユーザプロファイルの完成を前提とせず,タスク指向対話システムについて検討する。 ユーザプロファイルを徐々に強化する新しいメカニズムを持つ協調記憶ネットワーク(CoMemNN)を提案する。 CoMemNNは、ユーザープロファイルを効果的に強化することができ、応答選択精度の点で3.6%の改善につながります。
  論文  参考訳（メタデータ） (2021-02-16T18:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。