論文の概要: Memory-Augmented LLM Personalization with Short- and Long-Term Memory
Coordination
- arxiv url: http://arxiv.org/abs/2309.11696v2
- Date: Thu, 28 Sep 2023 23:37:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 17:16:07.588740
- Title: Memory-Augmented LLM Personalization with Short- and Long-Term Memory
Coordination
- Title(参考訳): 短期記憶コーディネーションを用いたメモリ拡張LDMパーソナライゼーション
- Authors: Kai Zhang, Fubang Zhao, Yangyang Kang, Xiaozhong Liu
- Abstract要約: 大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。
LLMをパーソナライズするためのパラメータ効率の良い微調整スキーマを備えた新しい計算バイオニックメモリ機構を提案する。
- 参考スコア(独自算出の注目度): 22.14340866290284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs), such as GPT3.5, have exhibited remarkable
proficiency in comprehending and generating natural language. However, their
unpersonalized generation paradigm may result in suboptimal user-specific
outcomes. Typically, users converse differently based on their knowledge and
preferences. This necessitates the task of enhancing user-oriented LLM which
remains unexplored. While one can fully train an LLM for this objective, the
resource consumption is unaffordable. Prior research has explored memory-based
methods to store and retrieve knowledge to enhance generation without
retraining for new queries. However, we contend that a mere memory module is
inadequate to comprehend a user's preference, and fully training an LLM can be
excessively costly. In this study, we propose a novel computational bionic
memory mechanism, equipped with a parameter-efficient fine-tuning schema, to
personalize LLMs. Our extensive experimental results demonstrate the
effectiveness and superiority of the proposed approach. To encourage further
research into this area, we are releasing a new conversation dataset generated
entirely by LLM based on an open-source medical corpus, as well as our
implementation code.
- Abstract(参考訳): GPT3.5のような大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。
しかし、その非個人化生成パラダイムは、最適ユーザ固有の結果をもたらす可能性がある。
通常、ユーザーは知識と好みに基づいて異なる会話をする。
これにより、未探索のユーザ指向LLMの強化が求められる。
この目的のために LLM を完全に訓練することは可能だが、リソース消費は計り知れない。
以前の研究は、新しいクエリを再トレーニングすることなく、生成を強化するための知識を格納し取得するためのメモリベースの方法を模索してきた。
しかし、単なるメモリモジュールはユーザの好みを理解するのに不十分であり、llmの完全なトレーニングは過度にコストがかかります。
本研究では, LLMをパーソナライズするためのパラメータ効率のよい微調整スキーマを備えた新しい計算バイオニックメモリ機構を提案する。
その結果,提案手法の有効性と優越性が実証された。
この領域に関するさらなる研究を奨励するために、我々は、オープンソースの医療コーパスと実装コードに基づいて、llmによって完全に生成された新しい会話データセットをリリースする。
関連論文リスト
- MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。
実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。
私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
論文 参考訳(メタデータ) (2024-04-17T18:13:16Z) - Personalized LLM Response Generation with Parameterized Memory Injection [19.417549781029233]
大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。
パーソナライズされたLSM応答生成は、医療などの重要な分野の個人に多大な利益をもたらす可能性がある。
論文 参考訳(メタデータ) (2024-04-04T16:20:34Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - LLMs Accelerate Annotation for Medical Information Extraction [7.743388571513413]
本稿では,LLM(Large Language Models)と人間の専門知識を組み合わせた手法を提案する。
医療情報抽出タスクにおいて,我々の手法を厳格に評価し,我々のアプローチが人的介入を大幅に削減するだけでなく,高い精度を維持していることを示す。
論文 参考訳(メタデータ) (2023-12-04T19:26:13Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - A Survey of Large Language Models in Medicine: Progress, Application,
and Challenge [86.4234483148876]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳(メタデータ) (2023-11-09T02:55:58Z) - Large Language Models Illuminate a Progressive Pathway to Artificial
Healthcare Assistant: A Review [16.008511195589925]
大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。
本稿では,医学におけるLSMの応用と意義について概説する。
論文 参考訳(メタデータ) (2023-11-03T13:51:36Z) - Augmenting Black-box LLMs with Medical Textbooks for Clinical Question
Answering [54.13933019557655]
LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。
LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。
検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
論文 参考訳(メタデータ) (2023-09-05T13:39:38Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳(メタデータ) (2023-08-27T12:24:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。