論文の概要: Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models

• arxiv url: http://arxiv.org/abs/2308.15022v2
• Date: Mon, 19 Feb 2024 02:39:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 06:12:58.456671
• Title: Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models
• Title（参考訳）: 逐次要約による大規模言語モデルにおける長期対話記憶の実現
• Authors: Qingyue Wang, Liang Ding, Yanan Cao, Zhiliang Tian, Shi Wang, Dacheng Tao, Li Guo
• Abstract要約: 長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
• 参考スコア（独自算出の注目度）: 75.98775135321355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, large language models (LLMs), such as GPT-4, stand out remarkable conversational abilities, enabling them to engage in dynamic and contextually relevant dialogues across a wide range of topics. However, given a long conversation, these chatbots fail to recall past information and tend to generate inconsistent responses. To address this, we propose to recursively generate summaries/ memory using large language models (LLMs) to enhance long-term memory ability. Specifically, our method first stimulates LLMs to memorize small dialogue contexts and then recursively produce new memory using previous memory and following contexts. Finally, the chatbot can easily generate a highly consistent response with the help of the latest memory. We evaluate our method on both open and closed LLMs, and the experiments on the widely-used public dataset show that our method can generate more consistent responses in a long-context conversation. Also, we show that our strategy could nicely complement both long-context (e.g., 8K and 16K) and retrieval-enhanced LLMs, bringing further long-term dialogue performance. Notably, our method is a potential solution to enable the LLM to model the extremely long context. The code and scripts will be released later.
• Abstract（参考訳）: 最近、gpt-4のような大規模言語モデル(llm)は、注目すべき会話能力を備えており、幅広いトピックにわたって動的かつ文脈的に関連する対話を行えるようになっている。 しかし、長い会話をすると、これらのチャットボットは過去の情報を思い出すことができず、一貫性のない応答を生み出す傾向がある。 そこで本稿では,大規模言語モデル(LLM)を用いて要約/メモリを再帰的に生成し,長期記憶能力を向上させることを提案する。 具体的には、まずLLMを刺激して、小さな対話コンテキストを記憶し、次に前のメモリと後続のコンテキストを使って再帰的に新しいメモリを生成する。 最後に、チャットボットは最新のメモリの助けを借りて、非常に一貫した応答を容易に生成できる。 提案手法はオープンおよびクローズドの両方で評価し,広範に使用されている公開データセットを用いた実験により,ロングコンテキスト会話においてより一貫した応答を生成できることを示した。 また,長いコンテキスト(例えば8Kと16K)と検索強化LLMの両方をうまく補完し,より長期の対話性能を向上できることを示す。 特に,本手法はLLMが極めて長いコンテキストをモデル化するための潜在的な解決策である。 コードとスクリプトは後でリリースされる。

関連論文リスト

• StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses [67.92595110412094]
  StreamingDialogueは長い対話履歴を最小限の損失でconv-attnシンクに圧縮する。 本手法は対話タスクにおいて強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-03-13T07:44:14Z)
• Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
  我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。 我々は、各エージェントに画像の共有と反応の能力を持たせる。 生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
  論文  参考訳（メタデータ） (2024-02-27T18:42:31Z)
• MemoChat: Tuning LLMs to Use Memos for Consistent Long-Range Open-Domain Conversation [43.24092422054248]
  そこで本稿では,大規模言語モデルに対して,自己合成メモを効果的に活用するためのパイプラインを提案する。 我々は、反復的な「記憶-記憶-記憶-応答」サイクルを通して、長い範囲のオープンドメイン会話を実演する。 これらの命令は、LLMに、構造化されたメモによる過去の対話を記憶し、検索するように教えるために、公開データセットの集合から再構築される。
  論文  参考訳（メタデータ） (2023-08-16T09:15:18Z)
• Augmenting Language Models with Long-Term Memory [142.04940250657637]
  既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:13:39Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• Long Time No See! Open-Domain Conversation with Long-Term Persona Memory [37.51131984324123]
  長期記憶会話(LeMon)の新たな課題について紹介する。 次に、新しい対話データセットDuLeMonとLong-Term Memory(LTM)機構を備えた対話生成フレームワークを構築する。 DuLeMonの結果から,PLATO-LTMは長期対話の整合性において,ベースラインを大幅に上回る可能性が示唆された。
  論文  参考訳（メタデータ） (2022-03-11T08:41:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。