論文の概要: User-LLM: Efficient LLM Contextualization with User Embeddings

• arxiv url: http://arxiv.org/abs/2402.13598v2
• Date: Mon, 9 Sep 2024 19:51:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 23:25:16.610643
• Title: User-LLM: Efficient LLM Contextualization with User Embeddings
• Title（参考訳）: User-LLM: ユーザ埋め込みによるLLMの効率的なコンテキスト化
• Authors: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie,
• Abstract要約: User-LLMは、ユーザ埋め込みを利用して、大きな言語モデルとユーザ履歴の相互作用を直接コンテキスト化する新しいフレームワークである。 提案手法では,ユーザタイムラインを直接埋め込みとして表現することで,最大78.1倍の高速化を実現している。
• 参考スコア（独自算出の注目度）: 23.226164112909643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved remarkable success across various domains, but effectively incorporating complex and potentially noisy user timeline data into LLMs remains a challenge. Current approaches often involve translating user timelines into text descriptions before feeding them to LLMs, which can be inefficient and may not fully capture the nuances of user behavior. Inspired by how LLMs are effectively integrated with images through direct embeddings, we propose User-LLM, a novel framework that leverages user embeddings to directly contextualize LLMs with user history interactions. These embeddings, generated by a user encoder pretrained using self-supervised learning on diverse user interactions, capture latent user behaviors and interests as well as their evolution over time. We integrate these user embeddings with LLMs through cross-attention, enabling LLMs to dynamically adapt their responses based on the context of a user's past actions and preferences. Our approach achieves significant efficiency gains by representing user timelines directly as embeddings, leading to substantial inference speedups of up to 78.1X. Comprehensive experiments on MovieLens, Amazon Review, and Google Local Review datasets demonstrate that User-LLM outperforms text-prompt-based contextualization on tasks requiring deep user understanding, with improvements of up to 16.33%, particularly excelling on long sequences that capture subtle shifts in user behavior. Furthermore, the incorporation of Perceiver layers streamlines the integration between user encoders and LLMs, yielding additional computational savings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で顕著な成功を収めてきたが、複雑で潜在的にノイズの多いユーザタイムラインデータをLLMに組み込むことは、依然として困難である。 現在のアプローチでは、ユーザタイムラインを LLM に送信する前にテキスト記述に変換することが多いが、これは非効率であり、ユーザの振る舞いのニュアンスを完全に把握できない可能性がある。 LLMが直接埋め込みによって画像と効果的に統合される方法に着想を得て,ユーザ埋め込みを活用してユーザ履歴の相互作用を直接文脈化する新しいフレームワークであるUser-LLMを提案する。 ユーザエンコーダが事前訓練したユーザエンコーダによって生成されたこれらの埋め込みは、多様なユーザインタラクションに関する自己教師型学習を使用して、潜伏したユーザの行動や関心をキャプチャし、時間とともに進化する。 ユーザの過去の行動や嗜好のコンテキストに基づいて,LSMが動的に応答を適応できるようにする。 提案手法では,ユーザタイムラインを直接埋め込みとして表現することで,最大78.1倍の高速化を実現している。 MovieLens、Amazon Review、Google Local Reviewのデータセットに関する総合的な実験では、ユーザ-LLMは、深いユーザ理解を必要とするタスクにおいてテキストプロンプトベースのコンテキスト化よりも優れており、最大16.33%の改善、特にユーザ行動の微妙な変化を捉える長いシーケンスで優れていることが示されている。 さらに、Perceiverレイヤの組み込みにより、ユーザエンコーダとLLMの統合が合理化され、計算コストが増大する。

関連論文リスト

• LIBER: Lifelong User Behavior Modeling Based on Large Language Models [42.045535303737694]
  大規模言語モデルに基づく生涯ユーザ行動モデリング(LIBER)を提案する。 LIBERはHuaweiの音楽レコメンデーションサービスにデプロイされ、ユーザーの再生回数と再生時間の3.01%と7.69%を大幅に改善した。
  論文  参考訳（メタデータ） (2024-11-22T03:43:41Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• Beyond the Turn-Based Game: Enabling Real-Time Conversations with Duplex Models [66.24055500785657]
  従来のターンベースのチャットシステムは、ユーザが応答を生成している間に、システムが言葉で対話することを防ぐ。 これらの制限を克服するため,既存のLCMをユーザを聴きながら出力を生成し,ユーザに対して即時フィードバックを提供する。 クエリとレスポンスの時間スライスを交互に行うデータセットを構築し、インスタントインタラクションにおける典型的なフィードバックタイプをカバーする。
  論文  参考訳（メタデータ） (2024-06-22T03:20:10Z)
• A Practice-Friendly LLM-Enhanced Paradigm with Preference Parsing for Sequential Recommendation [15.153844486572932]
  本稿では、シーケンシャルレコメンデータシステム(SRS)のための優先構文解析(P2Rec)を用いた実践的LLM拡張パラダイムを提案する。 具体的には、情報再構成段階において、事前学習したSRSモデルの助けを借りて、協調的な情報注入のための新しいユーザレベルSFTタスクを設計する。 我々のゴールは、LLMが各ユーザのインタラクションシーケンスから対応する優先度分布を再構築することを学ばせることである。
  論文  参考訳（メタデータ） (2024-06-01T07:18:56Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Breaking the Length Barrier: LLM-Enhanced CTR Prediction in Long Textual User Behaviors [25.086118164540974]
  大型言語モデル(LLM)はクリックスルー率(CTR)予測の性能を向上させるために用いられる。 ユーザシーケンスが長くなるにつれて、LLMの現在の効率は数十億のユーザやアイテムのトレーニングに不十分である。 我々は,LLMに基づくCTRモデリングの効率を高めるために,行動集約階層(BAHE)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T12:05:15Z)
• Do LLMs Understand User Preferences? Evaluating LLMs On User Rating Prediction [15.793007223588672]
  大規模言語モデル(LLM)は、ゼロショットまたは少数ショットの方法で新しいタスクに一般化する際、例外的な機能を示した。 我々は,2億5000万から540Bのパラメータを多種多様なサイズで検討し,その性能をゼロショット,少数ショット,微調整のシナリオで評価した。
  論文  参考訳（メタデータ） (2023-05-10T21:43:42Z)
• Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
  本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。 より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。 ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
  論文  参考訳（メタデータ） (2023-04-17T09:27:40Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。