論文の概要: User-LLM: Efficient LLM Contextualization with User Embeddings
- arxiv url: http://arxiv.org/abs/2402.13598v1
- Date: Wed, 21 Feb 2024 08:03:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 16:33:24.021307
- Title: User-LLM: Efficient LLM Contextualization with User Embeddings
- Title(参考訳): User-LLM: ユーザ埋め込みによる効率的なLLMコンテキスト化
- Authors: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant
Prakash, Bradley Green, Shawn O'Banion, Jun Xie
- Abstract要約: 大規模言語モデル(LLM)のコンテキスト化にユーザ埋め込みを活用する新しいフレームワークであるUser-LLMを提案する。
MovieLens、Amazon Review、Google Local Reviewのデータセットに関する我々の実験は、様々なタスクで大きなパフォーマンス向上を示している。
- 参考スコア(独自算出の注目度): 24.099604517203606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have revolutionized natural language processing.
However, effectively incorporating complex and potentially noisy user
interaction data remains a challenge. To address this, we propose User-LLM, a
novel framework that leverages user embeddings to contextualize LLMs. These
embeddings, distilled from diverse user interactions using self-supervised
pretraining, capture latent user preferences and their evolution over time. We
integrate these user embeddings with LLMs through cross-attention and
soft-prompting, enabling LLMs to dynamically adapt to user context. Our
comprehensive experiments on MovieLens, Amazon Review, and Google Local Review
datasets demonstrate significant performance gains across various tasks.
Notably, our approach outperforms text-prompt-based contextualization on long
sequence tasks and tasks that require deep user understanding while being
computationally efficient. We further incorporate Perceiver layers to
streamline the integration between user encoders and LLMs, reducing
computational demands.
- Abstract(参考訳): 大規模言語モデル(LLM)は自然言語処理に革命をもたらした。
しかし、複雑で潜在的に騒がしいユーザーインタラクションデータを効果的に組み込むことは課題である。
そこで我々は,LLMのコンテキスト化にユーザ埋め込みを活用する新しいフレームワークであるUser-LLMを提案する。
これらの埋め込みは、自己教師付き事前学習による多様なユーザーインタラクションから抽出され、潜在ユーザの好みとその時間的変化をキャプチャする。
これらのユーザ埋め込みを,ユーザコンテキストに動的に適応できるように,クロスアテンションとソフトプロンプトを通じてLLMと統合する。
movielens、amazon review、およびgoogle local reviewデータセットに関する包括的な実験は、さまざまなタスクで著しいパフォーマンス向上を示している。
特に,計算効率の面では,長いシーケンスタスクや深いユーザ理解を必要とするタスクにおいて,テキストプロンプトに基づくコンテキスト化よりも優れています。
さらに、Perceiverレイヤを組み込んで、ユーザエンコーダとLLMの統合を効率化し、計算要求を減らす。
関連論文リスト
- PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳(メタデータ) (2024-03-06T15:33:32Z) - Do LLMs Implicitly Determine the Suitable Text Difficulty for Users? [29.6000895693808]
大規模言語モデルでは,ユーザ入力と生成されたテキスト間のテキストの難易度を暗黙的に処理できることを示す。
一部のLLMは、テキストの難易度や命令調整の重要性に人間を超えることができる。
論文 参考訳(メタデータ) (2024-02-22T11:16:23Z) - Why and When LLM-Based Assistants Can Go Wrong: Investigating the
Effectiveness of Prompt-Based Interactions for Software Help-Seeking [5.755004576310333]
大規模言語モデル(LLM)アシスタントは、ユーザーがソフトウェアをナビゲートするための検索方法の潜在的な代替手段として登場した。
LLMアシスタントは、ドメイン固有のテキスト、ソフトウェアマニュアル、コードリポジトリからの膨大なトレーニングデータを使用して、人間のようなインタラクションを模倣する。
論文 参考訳(メタデータ) (2024-02-12T19:49:58Z) - LLMCheckup: Conversational Examination of Large Language Models via
Interpretability Tools [20.536681813020824]
ユーザがその振る舞いについて,最先端の大規模言語モデル(LLM)とチャットできる,アクセスしやすいツールを提案する。
我々はLSMが単独ですべての説明を生成し、微調整をせずに意図認識の処理を行えるようにした。
LLMCheckupは、XAIのさまざまなレベルの専門知識を持つ個人を対象に、システムで利用可能なオペレーションのチュートリアルを提供する。
論文 参考訳(メタデータ) (2024-01-23T09:11:07Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest
Neighbor In-Context Learning [50.40636157214161]
Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。
LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。
本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
論文 参考訳(メタデータ) (2023-12-17T17:26:50Z) - On the steerability of large language models toward data-driven personas [103.17413190093366]
協調フィルタリングに基づくデータ駆動型ペルソナ定義手法を提案する。
ユーザの連続表現を仮想トークンのシーケンスにマッピングするために,ソフトプロンプトモデルを学ぶ。
以上の結果から,本アルゴリズムはベースラインの収集よりも性能が優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - Integrating Summarization and Retrieval for Enhanced Personalization via
Large Language Models [11.950478880423733]
パーソナライゼーションは自然言語処理(NLP)システムにおけるユーザエクスペリエンスにおいて重要な要素である。
LLM(Large Language Models)の出現によって、重要な疑問は、これらのモデルを使ってユーザエクスペリエンスをよりパーソナライズする方法である。
LLMが生成するタスク対応ユーザ要約を用いた,新しい要約型パーソナライゼーションを提案する。
論文 参考訳(メタデータ) (2023-10-30T23:40:41Z) - Low-code LLM: Visual Programming over LLMs [49.37966903221752]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
6種類のシンプルなローコードビジュアルプログラミングインタラクションが組み込まれており、すべてクリック、ドラッグ、テキスト編集によってサポートされている。
低コードLSMの利点として、制御可能な生成結果、ユーザフレンドリなヒューマン-LLMインタラクション、広く適用可能なシナリオの3つを挙げる。
論文 参考訳(メタデータ) (2023-04-17T09:27:40Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。