論文の概要: Memory-Augmented LLM Personalization with Short- and Long-Term Memory Coordination

• arxiv url: http://arxiv.org/abs/2309.11696v1
• Date: Thu, 21 Sep 2023 00:34:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 17:21:59.328085
• Title: Memory-Augmented LLM Personalization with Short- and Long-Term Memory Coordination
• Title（参考訳）: 短期記憶コーディネーションを用いたメモリ拡張LDMパーソナライゼーション
• Authors: Kai Zhang, Fubang Zhao, Yangyang Kang, Xiaozhong Liu
• Abstract要約: 大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。 LLMをパーソナライズするためのパラメータ効率の良い微調整スキーマを備えた新しい計算バイオニックメモリ機構を提案する。
• 参考スコア（独自算出の注目度）: 22.14340866290284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs), such as GPT3.5, have exhibited remarkable proficiency in comprehending and generating natural language. However, their unpersonalized generation paradigm may result in suboptimal user-specific outcomes. Typically, users converse differently based on their knowledge and preferences. This necessitates the task of enhancing user-oriented LLM which remains unexplored. While one can fully train an LLM for this objective, the resource consumption is unaffordable. Prior research has explored memory-based methods to store and retrieve knowledge to enhance generation without retraining for new queries. However, we contend that a mere memory module is inadequate to comprehend a user's preference, and fully training an LLM can be excessively costly. In this study, we propose a novel computational bionic memory mechanism, equipped with a parameter-efficient fine-tuning schema, to personalize LLMs. Our extensive experimental results demonstrate the effectiveness and superiority of the proposed approach. To encourage further research into this area, we are releasing a new conversation dataset generated entirely by LLM based on an open-source medical corpus, as well as our implementation code.
• Abstract（参考訳）: GPT3.5のような大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。 しかし、その非個人化生成パラダイムは、最適ユーザ固有の結果をもたらす可能性がある。 通常、ユーザーは知識と好みに基づいて異なる会話をする。 これにより、未探索のユーザ指向LLMの強化が求められる。 この目的のために LLM を完全に訓練することは可能だが、リソース消費は計り知れない。 以前の研究は、新しいクエリを再トレーニングすることなく、生成を強化するための知識を格納し取得するためのメモリベースの方法を模索してきた。 しかし、単なるメモリモジュールはユーザの好みを理解するのに不十分であり、llmの完全なトレーニングは過度にコストがかかります。 本研究では, LLMをパーソナライズするためのパラメータ効率のよい微調整スキーマを備えた新しい計算バイオニックメモリ機構を提案する。 その結果,提案手法の有効性と優越性が実証された。 この領域に関するさらなる研究を奨励するために、我々は、オープンソースの医療コーパスと実装コードに基づいて、llmによって完全に生成された新しい会話データセットをリリースする。

関連論文リスト

• Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
  大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。 本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-24T15:41:56Z)
• A Survey on Large Language Models from General Purpose to Medical Applications: Datasets, Methodologies, and Evaluations [5.265452667976959]
  本調査は,オープンソース汎用LSMをベースとした医療用LSMのトレーニング方法を体系的にまとめたものである。 a) トレーニングコーパスの取得方法、カスタマイズされた医療トレーニングセットの構築方法、(b) 適切なトレーニングパラダイムの選択方法、(d) 既存の課題と有望な研究方向性をカバーしている。
  論文  参考訳（メタデータ） (2024-06-14T02:42:20Z)
• Hello Again! LLM-powered Personalized Agent for Long-term Dialogue [63.65128176360345]
  モデルに依存しない長期対話エージェント(LD-Agent)を導入する。 イベント認識、ペルソナ抽出、応答生成のための3つの独立した調整可能なモジュールが組み込まれている。 LD-Agentの有効性, 汎用性, クロスドメイン性について実験的に検証した。
  論文  参考訳（メタデータ） (2024-06-09T21:58:32Z)
• OLAPH: Improving Factuality in Biomedical Long-form Question Answering [15.585833125854418]
  MedLFQAは、バイオメディカルドメインに関連する長文質問回答データセットを用いて再構成されたベンチマークデータセットである。 また,コスト効率と多面的自動評価を利用した,シンプルで斬新なフレームワークであるOLAPHを提案する。 以上の結果から,OLAPHフレームワークでトレーニングした7B LLMでは,医療専門家の回答に匹敵する回答が得られた。
  論文  参考訳（メタデータ） (2024-05-21T11:50:16Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。 実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。 私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• Personalized LLM Response Generation with Parameterized Memory Injection [19.417549781029233]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。 パーソナライズされたLSM応答生成は、医療などの重要な分野の個人に多大な利益をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-04-04T16:20:34Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• LLMs Accelerate Annotation for Medical Information Extraction [7.743388571513413]
  本稿では,LLM(Large Language Models)と人間の専門知識を組み合わせた手法を提案する。 医療情報抽出タスクにおいて,我々の手法を厳格に評価し,我々のアプローチが人的介入を大幅に削減するだけでなく,高い精度を維持していることを示す。
  論文  参考訳（メタデータ） (2023-12-04T19:26:13Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。