論文の概要: Persona-DB: Efficient Large Language Model Personalization for Response Prediction with Collaborative Data Refinement

• arxiv url: http://arxiv.org/abs/2402.11060v2
• Date: Wed, 21 Aug 2024 00:31:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 22:44:58.334134
• Title: Persona-DB: Efficient Large Language Model Personalization for Response Prediction with Collaborative Data Refinement
• Title（参考訳）: Persona-DB: 協調的データリファインメントを用いた応答予測のための効率的大言語モデルパーソナライズ
• Authors: Chenkai Sun, Ke Yang, Revanth Gangi Reddy, Yi R. Fung, Hou Pong Chan, Kevin Small, ChengXiang Zhai, Heng Ji,
• Abstract要約: 本稿では,タスクコンテキスト間の一般化を改善するための階層的な構築プロセスからなる,シンプルで効果的なフレームワークであるPersona-DBを紹介する。 応答予測の評価において,Persona-DB は精度を著しく低減した検索サイズで維持する上で,より優れたコンテキスト効率を示す。 我々の実験は、ユーザーが極めて少ないデータを持つ場合、コールドスタートシナリオで10%以上の顕著な改善が示されていることも示している。
• 参考スコア（独自算出の注目度）: 79.2400720115588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing demand for personalized interactions with large language models (LLMs) calls for methodologies capable of accurately and efficiently identifying user opinions and preferences. Retrieval augmentation emerges as an effective strategy, as it can accommodate a vast number of users without the costs from fine-tuning. Existing research, however, has largely focused on enhancing the retrieval stage and devoted limited exploration toward optimizing the representation of the database, a crucial aspect for tasks such as personalization. In this work, we examine the problem from a novel angle, focusing on how data can be better represented for more data-efficient retrieval in the context of LLM customization. To tackle this challenge, we introduce Persona-DB, a simple yet effective framework consisting of a hierarchical construction process to improve generalization across task contexts and collaborative refinement to effectively bridge knowledge gaps among users. In the evaluation of response prediction, Persona-DB demonstrates superior context efficiency in maintaining accuracy with a significantly reduced retrieval size, a critical advantage in scenarios with extensive histories or limited context windows. Our experiments also indicate a marked improvement of over 10% under cold-start scenarios, when users have extremely sparse data. Furthermore, our analysis reveals the increasing importance of collaborative knowledge as the retrieval capacity expands.
• Abstract（参考訳）: 大規模言語モデル(LLM)とのパーソナライズされたインタラクションに対する需要が高まっているため、ユーザの意見や好みを正確かつ効率的に識別できる方法論が求められている。 検索の強化は、微調整のコストを伴わずに膨大な数のユーザーを収容できるため、効果的な戦略として現れます。 しかし、既存の研究は、検索段階の強化と、パーソナライズなどのタスクにおいて重要な側面であるデータベースの表現の最適化に向けた限定的な探索に重点を置いている。 本研究では, LLM のカスタマイズの文脈において, よりデータ効率の高い検索を実現するために, データの表現方法に焦点をあて, 新たな角度から問題を考察する。 この課題に対処するために,タスクコンテキスト間の一般化を改善する階層的な構築プロセスと,ユーザ間の知識ギャップを効果的に橋渡しするための協調的改善という,シンプルで効果的なフレームワークであるPersona-DBを紹介した。 応答予測の評価において、Persona-DBは、検索サイズを大幅に削減した精度を維持する上で、より優れたコンテキスト効率を示す。 我々の実験は、ユーザーが極めて少ないデータを持つ場合、コールドスタートシナリオで10%以上の顕著な改善が示されていることも示している。 さらに,検索能力の増大に伴い,協調的知識の重要性が増している。

関連論文リスト

• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Knowledge-Augmented Large Language Models for Personalized Contextual Query Suggestion [16.563311988191636]
  我々は,Web上での検索と閲覧活動に基づいて,各ユーザを対象としたエンティティ中心の知識ストアを構築した。 この知識ストアは、公的な知識グラフ上の興味と知識のユーザ固有の集約予測のみを生成するため、軽量である。
  論文  参考訳（メタデータ） (2023-11-10T01:18:47Z)
• Integrating Summarization and Retrieval for Enhanced Personalization via Large Language Models [11.950478880423733]
  パーソナライゼーションは自然言語処理(NLP)システムにおけるユーザエクスペリエンスにおいて重要な要素である。 LLM(Large Language Models)の出現によって、重要な疑問は、これらのモデルを使ってユーザエクスペリエンスをよりパーソナライズする方法である。 LLMが生成するタスク対応ユーザ要約を用いた,新しい要約型パーソナライゼーションを提案する。
  論文  参考訳（メタデータ） (2023-10-30T23:40:41Z)
• Which Prompts Make The Difference? Data Prioritization For Efficient Human LLM Evaluation [9.452326973655445]
  計量に基づく手法は,必要なアノテーションの数を最小化することで,人間の評価の効率を向上させる。 提案手法は,広く用いられているモデルファミリに対して有効であり,非決定的(あるいは"tie")な結果のインスタンスを最大54%削減できることを示す。 この人的努力の潜在的な削減は、我々のアプローチを将来の大規模言語モデル評価における貴重な戦略として位置づけている。
  論文  参考訳（メタデータ） (2023-10-22T21:48:51Z)
• Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System [65.93577256431125]
  本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。 このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。 提案手法は従来のSOTA(State-of-the-art)よりも優れている。
  論文  参考訳（メタデータ） (2023-06-16T13:04:56Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Self-Supervised Contrastive Learning for Efficient User Satisfaction Prediction in Conversational Agents [35.2098736872247]
  ユーザとエージェントのインタラクションを学習するための,自己指導型コントラスト学習手法を提案する。 自己教師対象を用いた事前学習モデルは,ユーザ満足度予測に転送可能であることを示す。 また、非常に小さなサンプルサイズに対して、より優れた転送性を確保するために、新しい数発の転送学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T18:10:58Z)
• Mining Implicit Entity Preference from User-Item Interaction Data for Knowledge Graph Completion via Adversarial Learning [82.46332224556257]
  本稿では,知識グラフ補完タスクにおけるユーザインタラクションデータを活用することで,新たな逆学習手法を提案する。 我々のジェネレータはユーザインタラクションデータから分離されており、識別器の性能を向上させるのに役立ちます。 利用者の暗黙の実体的嗜好を発見するために,グラフニューラルネットワークに基づく精巧な協調学習アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-03-28T05:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。