論文の概要: Integrating Summarization and Retrieval for Enhanced Personalization via
Large Language Models
- arxiv url: http://arxiv.org/abs/2310.20081v1
- Date: Mon, 30 Oct 2023 23:40:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 17:13:52.578797
- Title: Integrating Summarization and Retrieval for Enhanced Personalization via
Large Language Models
- Title(参考訳): 大規模言語モデルによるパーソナライゼーション向上のための要約と検索の統合
- Authors: Chris Richardson, Yao Zhang, Kellen Gillespie, Sudipta Kar, Arshdeep
Singh, Zeynab Raeesy, Omar Zia Khan, Abhinav Sethy
- Abstract要約: パーソナライゼーションは自然言語処理(NLP)システムにおけるユーザエクスペリエンスにおいて重要な要素である。
LLM(Large Language Models)の出現によって、重要な疑問は、これらのモデルを使ってユーザエクスペリエンスをよりパーソナライズする方法である。
LLMが生成するタスク対応ユーザ要約を用いた,新しい要約型パーソナライゼーションを提案する。
- 参考スコア(独自算出の注目度): 11.950478880423733
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Personalization, the ability to tailor a system to individual users, is an
essential factor in user experience with natural language processing (NLP)
systems. With the emergence of Large Language Models (LLMs), a key question is
how to leverage these models to better personalize user experiences. To
personalize a language model's output, a straightforward approach is to
incorporate past user data into the language model prompt, but this approach
can result in lengthy inputs exceeding limitations on input length and
incurring latency and cost issues. Existing approaches tackle such challenges
by selectively extracting relevant user data (i.e. selective retrieval) to
construct a prompt for downstream tasks. However, retrieval-based methods are
limited by potential information loss, lack of more profound user
understanding, and cold-start challenges. To overcome these limitations, we
propose a novel summary-augmented approach by extending retrieval-augmented
personalization with task-aware user summaries generated by LLMs. The summaries
can be generated and stored offline, enabling real-world systems with runtime
constraints like voice assistants to leverage the power of LLMs. Experiments
show our method with 75% less of retrieved user data is on-par or outperforms
retrieval augmentation on most tasks in the LaMP personalization benchmark. We
demonstrate that offline summarization via LLMs and runtime retrieval enables
better performance for personalization on a range of tasks under practical
constraints.
- Abstract(参考訳): パーソナライゼーション(パーソナライゼーション)は、自然言語処理(NLP)システムにおけるユーザエクスペリエンスにおいて重要な要素である。
LLM(Large Language Models)の出現によって、重要な疑問は、これらのモデルを使ってユーザーエクスペリエンスをよりパーソナライズする方法である。
言語モデルの出力をパーソナライズするには、過去のユーザデータを言語モデルプロンプトに組み込むことが簡単なアプローチであるが、このアプローチは入力長の制限を超える長い入力と遅延やコストの問題を引き起こす可能性がある。
既存のアプローチは、ダウンストリームタスクのプロンプトを構築するために、関連するユーザデータ(選択検索)を選択的に抽出することで、このような課題に対処する。
しかし、検索ベースの方法は潜在的な情報損失、より深いユーザー理解の欠如、コールドスタートの課題によって制限される。
これらの制約を克服するために,llmsによって生成されたタスク対応ユーザ要約を用いて,検索によるパーソナライズを拡張した新しい要約手法を提案する。
要約はオフラインで生成および保存でき、音声アシスタントのような実行時の制約のある実世界のシステムがllmのパワーを活用できる。
LaMPパーソナライゼーションベンチマークのほとんどのタスクにおいて,検索したユーザデータの75%削減がオンパーまたはオーバーフォームであることを示す実験を行った。
LLMによるオフライン要約と実行時検索により,現実的な制約下でのタスクのパーソナライズ性能が向上することが実証された。
関連論文リスト
- User-LLM: Efficient LLM Contextualization with User Embeddings [24.099604517203606]
大規模言語モデル(LLM)のコンテキスト化にユーザ埋め込みを活用する新しいフレームワークであるUser-LLMを提案する。
MovieLens、Amazon Review、Google Local Reviewのデータセットに関する我々の実験は、様々なタスクで大きなパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2024-02-21T08:03:27Z) - Persona-DB: Efficient Large Language Model Personalization for Response
Prediction with Collaborative Data Refinement [82.56964750522161]
本稿では,タスクコンテキスト間の一般化を改善するため,階層的な構築プロセスからなるシンプルなフレームワークであるPersona-DBを紹介する。
応答予測のタスクでは,Persona-DBは,検索サイズを大幅に削減した精度を維持する上で,優れた効率性を示す。
我々の実験は、ユーザーが極めて少ないデータを持つ場合、コールドスタートシナリオで15%以上の顕著な改善が示されていることも示している。
論文 参考訳(メタデータ) (2024-02-16T20:20:43Z) - Active Preference Inference using Language Models and Probabilistic
Reasoning [15.198912276468198]
本稿では,大規模言語モデルによるユーザの嗜好の推測を支援する推論時アルゴリズムを提案する。
我々のアルゴリズムは, LLM を誘導することで条件分布が定義される確率モデルを用いている。
実商品を用いた簡易な対話型Webショッピング設定の結果, エントロピー低減アルゴリズムを備えたLCMは, ベースラインよりも優れていた。
論文 参考訳(メタデータ) (2023-12-19T09:58:54Z) - Adapting LLMs for Efficient, Personalized Information Retrieval: Methods
and Implications [0.7832189413179361]
LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。
本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
論文 参考訳(メタデータ) (2023-11-21T02:01:01Z) - On the steerability of large language models toward data-driven personas [103.17413190093366]
協調フィルタリングに基づくデータ駆動型ペルソナ定義手法を提案する。
ユーザの連続表現を仮想トークンのシーケンスにマッピングするために,ソフトプロンプトモデルを学ぶ。
以上の結果から,本アルゴリズムはベースラインの収集よりも性能が優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - Memory-Augmented LLM Personalization with Short- and Long-Term Memory
Coordination [22.14340866290284]
大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。
LLMをパーソナライズするためのパラメータ効率の良い微調整スキーマを備えた新しい計算バイオニックメモリ機構を提案する。
論文 参考訳(メタデータ) (2023-09-21T00:34:33Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - Unlocking the Potential of User Feedback: Leveraging Large Language
Model as User Simulator to Enhance Dialogue System [65.93577256431125]
本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。
このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。
提案手法は従来のSOTA(State-of-the-art)よりも優れている。
論文 参考訳(メタデータ) (2023-06-16T13:04:56Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。