論文の概要: Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models

• arxiv url: http://arxiv.org/abs/2308.15022v1
• Date: Tue, 29 Aug 2023 04:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 15:49:25.712609
• Title: Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models
• Title（参考訳）: 逐次要約による大規模言語モデルにおける長期対話記憶の実現
• Authors: Qingyue Wang, Liang Ding, Yanan Cao, Zhiliang Tian, Shi Wang, Dacheng Tao, Li Guo
• Abstract要約: 多くのオープンドメイン対話システムは、特に長期会話において重要な情報を忘れることに悩まされる。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。 提案手法をChatGPTとtext-davinci-003を用いて評価し,より一貫性のある応答を生成できることを示す。
• 参考スコア（独自算出の注目度）: 75.98775135321355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most open-domain dialogue systems suffer from forgetting important information, especially in a long-term conversation. Existing works usually train the specific retriever or summarizer to obtain key information from the past, which is time-consuming and highly depends on the quality of labeled data. To alleviate this problem, we propose to recursively generate summaries/ memory using large language models (LLMs) to enhance long-term memory ability. Specifically, our method first stimulates LLMs to memorize small dialogue contexts and then recursively produce new memory using previous memory and following contexts. Finally, the LLM can easily generate a highly consistent response with the help of the latest memory. We evaluate our method using ChatGPT and text-davinci-003, and the experiments on the widely-used public dataset show that our method can generate more consistent responses in a long-context conversation. Notably, our method is a potential solution to enable the LLM to model the extremely long context. Code and scripts will be released later.
• Abstract（参考訳）: 多くのオープンドメイン対話システムは、特に長期会話において重要な情報を忘れることに悩まされる。 既存の作品は通常、特定の検索者や要約者を訓練して過去から重要な情報を取得する。 この問題を軽減するため,大規模言語モデル(LLM)を用いて要約/メモリを再帰的に生成し,長期記憶能力を向上させることを提案する。 具体的には、まずLLMを刺激して、小さな対話コンテキストを記憶し、次に前のメモリと後続のコンテキストを使って再帰的に新しいメモリを生成する。 最後に、LLMは最新のメモリの助けを借りて、非常に一貫性のある応答を容易に生成できる。 提案手法はChatGPTとtext-davinci-003を用いて評価し,より広範に利用されている公開データセットを用いて,長文会話においてより一貫した応答を生成可能であることを示す。 特に,本手法はLLMが極めて長いコンテキストをモデル化するための潜在的な解決策である。 コードとスクリプトは後でリリースされる。

関連論文リスト

• StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses [67.92595110412094]
  StreamingDialogueは長い対話履歴を最小限の損失でconv-attnシンクに圧縮する。 本手法は対話タスクにおいて強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-03-13T07:44:14Z)
• Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
  我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。 我々は、各エージェントに画像の共有と反応の能力を持たせる。 生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
  論文  参考訳（メタデータ） (2024-02-27T18:42:31Z)
• MemoChat: Tuning LLMs to Use Memos for Consistent Long-Range Open-Domain Conversation [43.24092422054248]
  そこで本稿では,大規模言語モデルに対して,自己合成メモを効果的に活用するためのパイプラインを提案する。 我々は、反復的な「記憶-記憶-記憶-応答」サイクルを通して、長い範囲のオープンドメイン会話を実演する。 これらの命令は、LLMに、構造化されたメモによる過去の対話を記憶し、検索するように教えるために、公開データセットの集合から再構築される。
  論文  参考訳（メタデータ） (2023-08-16T09:15:18Z)
• Augmenting Language Models with Long-Term Memory [142.04940250657637]
  既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:13:39Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• Long Time No See! Open-Domain Conversation with Long-Term Persona Memory [37.51131984324123]
  長期記憶会話(LeMon)の新たな課題について紹介する。 次に、新しい対話データセットDuLeMonとLong-Term Memory(LTM)機構を備えた対話生成フレームワークを構築する。 DuLeMonの結果から,PLATO-LTMは長期対話の整合性において,ベースラインを大幅に上回る可能性が示唆された。
  論文  参考訳（メタデータ） (2022-03-11T08:41:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。