論文の概要: Evolving Large Language Model Assistant with Long-Term Conditional Memory

• arxiv url: http://arxiv.org/abs/2312.17257v1
• Date: Fri, 22 Dec 2023 02:39:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 12:49:17.012004
• Title: Evolving Large Language Model Assistant with Long-Term Conditional Memory
• Title（参考訳）: 長期条件記憶を持つ大規模言語モデルアシスタントの進化
• Authors: Ruifeng Yuan, Shichao Sun, Zili Wang, Ziqiang Cao, Wenjie Li
• Abstract要約: 音声の長期記憶を利用した大規模言語モデルアシスタントを提案する。 モデルは、完了した対話ごとに一連のレコードを生成し、それらをメモリに格納する。 後続の使用では、新しいユーザ入力が与えられた場合、そのモデルがそれを使用して関連するメモリを取得し、応答の品質を向上させる。
• 参考スコア（独自算出の注目度）: 16.91211676915775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid development of large language models, AI assistants like ChatGPT have widely entered people's works and lives. In this paper, we present an evolving large language model assistant that utilizes verbal long-term memory. It focuses on preserving the knowledge and experience from the history dialogue between the user and AI assistant, which can be applied to future dialogue for generating a better response. The model generates a set of records for each finished dialogue and stores them in the memory. In later usage, given a new user input, the model uses it to retrieve its related memory to improve the quality of the response. To find the best form of memory, we explore different ways of constructing the memory and propose a new memorizing mechanism called conditional memory to solve the problems in previous methods. We also investigate the retrieval and usage of memory in the generation process. The assistant uses GPT-4 as the backbone and we evaluate it on three constructed test datasets focusing on different abilities required by an AI assistant with long-term memory.
• Abstract（参考訳）: 大規模言語モデルの急速な発展に伴い、ChatGPTのようなAIアシスタントは人々の作品や生活に広く浸透してきた。 本稿では,言語長期記憶を利用した大規模言語モデルアシスタントについて述べる。 ユーザーとaiアシスタントの間の履歴対話から知識と経験を保存し、より良い反応を生み出すための将来の対話に適用することに焦点を当てている。 モデルは、完了した対話ごとに一連のレコードを生成し、それらをメモリに格納する。 後の使用例では、新しいユーザ入力が与えられ、モデルがそれを使って関連するメモリを取得し、応答の質を改善する。 メモリの最良の形態を見つけるために,メモリ構築のさまざまな方法を探り,条件記憶と呼ばれる新しい記憶機構を提案し,従来の手法の問題を解決する。 また,生成過程におけるメモリの検索と利用について検討する。 アシスタントはGPT-4をバックボーンとして使用し、長期記憶を持つAIアシスタントが必要とするさまざまな能力に着目した3つの構築されたテストデータセットで評価する。

関連論文リスト

• LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory [68.97819665784442]
  本稿では,チャットアシスタントの5つのコアメモリ能力を評価するためのベンチマークであるLongMemEvalを紹介する。 LongMemEvalは、既存の長期記憶システムにとって重要な課題である。 長期記憶設計を4つの設計選択に分割する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:44Z)
• Introducing MeMo: A Multimodal Dataset for Memory Modelling in Multiparty Conversations [1.8896253910986929]
  MeMo Corpusは参加者のメモリ保持レポートに注釈を付けた最初のデータセットである。 検証された振る舞いと知覚の計測、オーディオ、ビデオ、マルチモーダルアノテーションを統合する。 本稿では,知的システム開発のための対話型メモリモデリングにおける今後の研究の道を開くことを目的とする。
  論文  参考訳（メタデータ） (2024-09-07T16:09:36Z)
• MemoCRS: Memory-enhanced Sequential Conversational Recommender Systems with Large Language Models [51.65439315425421]
  大規模言語モデルを用いたメモリ拡張型会話レコメンダシステムフレームワーク(MemoCRS)を提案する。 ユーザ固有のメモリは、パーソナライズされた関心事のために各ユーザに合わせて調整される。 共同知識と推論ガイドラインをカプセル化した一般的な記憶は、ユーザに共有知識を提供することができる。
  論文  参考訳（メタデータ） (2024-07-06T04:57:25Z)
• Ever-Evolving Memory by Blending and Refining the Past [30.63352929849842]
  CREEMは長期会話のための新しい記憶システムである。 過去と現在の情報をシームレスに接続すると同時に、障害情報を忘れる能力も備えている。
  論文  参考訳（メタデータ） (2024-03-03T08:12:59Z)
• Compress to Impress: Unleashing the Potential of Compressive Memory in Real-World Long-Term Conversations [39.05338079159942]
  本研究は,従来の検索モジュールやメモリデータベースを活用する新しいフレームワークであるCOMEDY(Commpressive Memory-Enhanced Dialogue sYstems)を紹介する。 COMEDYの中心は圧縮メモリの概念であり、セッション固有の要約、ユーザー・ボットのダイナミクス、過去のイベントを簡潔なメモリ形式に解釈する。
  論文  参考訳（メタデータ） (2024-02-19T09:19:50Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• Encode-Store-Retrieve: Augmenting Human Memory through Language-Encoded Egocentric Perception [19.627636189321393]
  メモリ拡張のための有望な道は、エゴセントリックなビデオをキャプチャして保存するために、拡張現実のヘッドマウントディスプレイを使用することである。 現在の技術では、大量のデータを効率的にエンコードして保存する能力が欠けている。 本稿では,ビデオデータの自然言語エンコーディングを活用し,ベクトルデータベースに格納するメモリ拡張エージェントを提案する。
  論文  参考訳（メタデータ） (2023-08-10T18:43:44Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• MemoryBank: Enhancing Large Language Models with Long-Term Memory [7.654404043517219]
  本稿では,大規模言語モデルに適した新しいメモリ機構であるMemoryBankを提案する。 MemoryBankは、モデルが関連するメモリを呼び出し、継続的なメモリ更新を通じて継続的に進化し、過去のインタラクションから情報を合成することで、ユーザの個性に適応することを可能にする。
  論文  参考訳（メタデータ） (2023-05-17T14:40:29Z)
• Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory [72.36736686941671]
  本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。 Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。 我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
  論文  参考訳（メタデータ） (2023-05-03T21:40:54Z)
• There Are a Thousand Hamlets in a Thousand People's Eyes: Enhancing Knowledge-grounded Dialogue with Personal Memory [67.24942840683904]
  知識に基づく会話における知識選択に個人記憶を導入する。 本研究では,個人記憶から知識への前方マッピングと,その逆マッピングを閉ループに含める学習手法を提案する。 実験の結果,提案手法は自動評価と人的評価の両方において既存のKGC法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-06T07:06:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。