論文の概要: Think-in-Memory: Recalling and Post-thinking Enable LLMs with Long-Term Memory

• arxiv url: http://arxiv.org/abs/2311.08719v1
• Date: Wed, 15 Nov 2023 06:08:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 16:58:11.966790
• Title: Think-in-Memory: Recalling and Post-thinking Enable LLMs with Long-Term Memory
• Title（参考訳）: think-in-memory: 長期記憶を持つllmの実現とリコール
• Authors: Lei Liu and Xiaoyan Yang and Yue Shen and Binbin Hu and Zhiqiang Zhang and Jinjie Gu and Guannan Zhang
• Abstract要約: 歴史的思考を記憶するための進化した記憶を大規模言語モデルで維持できるTiM(Think-in-Memory)を提案する。 我々は,多種多様な話題をカバーする実世界および模擬対話の質的,定量的な実験を行う。
• 参考スコア（独自算出の注目度）: 24.464945401037056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memory-augmented Large Language Models (LLMs) have demonstrated remarkable performance in long-term human-machine interactions, which basically relies on iterative recalling and reasoning of history to generate high-quality responses. However, such repeated recall-reason steps easily produce biased thoughts, \textit{i.e.}, inconsistent reasoning results when recalling the same history for different questions. On the contrary, humans can keep thoughts in the memory and recall them without repeated reasoning. Motivated by this human capability, we propose a novel memory mechanism called TiM (Think-in-Memory) that enables LLMs to maintain an evolved memory for storing historical thoughts along the conversation stream. The TiM framework consists of two crucial stages: (1) before generating a response, a LLM agent recalls relevant thoughts from memory, and (2) after generating a response, the LLM agent post-thinks and incorporates both historical and new thoughts to update the memory. Thus, TiM can eliminate the issue of repeated reasoning by saving the post-thinking thoughts as the history. Besides, we formulate the basic principles to organize the thoughts in memory based on the well-established operations, (\textit{i.e.}, insert, forget, and merge operations), allowing for dynamic updates and evolution of the thoughts. Furthermore, we introduce Locality-Sensitive Hashing into TiM to achieve efficient retrieval for the long-term conversations. We conduct qualitative and quantitative experiments on real-world and simulated dialogues covering a wide range of topics, demonstrating that equipping existing LLMs with TiM significantly enhances their performance in generating responses for long-term interactions.
• Abstract（参考訳）: memory-augmented large language model (llms) は、人間と機械の長期的な相互作用において顕著な性能を示している。 しかし、このような繰り返しリコール・推論のステップは、異なる質問に対して同じ歴史を思い出す際に矛盾する推論結果である「textit{i.e.}」というバイアスのある思考を容易に生成する。 逆に、人間は思考を記憶に残し、繰り返し推論することなく記憶を思い出すことができる。 この人間の能力に感化されて,LLMが会話ストリームに沿って歴史的思考を記憶するための進化したメモリを維持できる,TiM(Think-in-Memory)と呼ばれる新しいメモリ機構を提案する。 TiMフレームワークは、(1)応答を生成する前に、LCMエージェントがメモリから関連する思考をリコールし、(2)応答を生成した後、LSMエージェントは、履歴と新しい思考の両方をポスト思考し、メモリを更新する。 このため、TiMはポスト思考を歴史として保存することで、繰り返し推論の問題を取り除くことができる。 さらに、確立された操作 (\textit{i.e.}, insert, forget, and merge operations) に基づいて思考をメモリに整理する基本的な原則を定式化し、思考の動的更新と進化を可能にする。 さらに,TiMに局所感性ハッシュを導入し,長期会話の効率的な検索を実現する。 我々は,TiMで既存のLLMを組み込むことで,長時間の対話に応答する際の性能が著しく向上することが実証された,多種多様な話題をカバーした実世界の対話とシミュレーション対話の質的定量的実験を行った。

関連論文リスト

• Assessing Episodic Memory in LLMs with Sequence Order Recall Tasks [42.22616978679253]
  本稿では,認知心理学におけるエピソード記憶研究の課題から順応する逐次リコールタスク(SORT)を紹介する。 SORTはLLMにテキストセグメントの正しい順序を思い出させる必要があり、拡張が容易で追加のアノテーションを必要としない一般的なフレームワークを提供する。 155人の被験者による人間実験から,本書の長期記憶に基づくシーケンス順序を再現できることが示唆された。
  論文  参考訳（メタデータ） (2024-10-10T17:17:38Z)
• MADial-Bench: Towards Real-world Evaluation of Memory-Augmented Dialogue Generation [15.64077949677469]
  メモリ拡張対話システム(MADS)の有効性を評価するための新しいメモリ拡張対話ベンチマーク(MADail-Bench)を提案する。 このベンチマークは2つのタスクを別々に評価する: メモリ検索とメモリ認識は、パッシブとプロアクティブの両方のメモリリコールデータを組み込んだものである。 このベンチマークにおける最先端の埋め込みモデルと大規模言語モデルの結果は、さらなる進歩の可能性を示している。
  論文  参考訳（メタデータ） (2024-09-23T17:38:41Z)
• Beyond Memorization: The Challenge of Random Memory Access in Language Models [56.525691003233554]
  生成言語モデル(LM)がそのメモリに逐次的またはランダムにアクセスできるかどうかを検討する。 本手法により, LMのランダムメモリアクセス性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-12T16:42:44Z)
• Ever-Evolving Memory by Blending and Refining the Past [30.63352929849842]
  CREEMは長期会話のための新しい記憶システムである。 過去と現在の情報をシームレスに接続すると同時に、障害情報を忘れる能力も備えている。
  論文  参考訳（メタデータ） (2024-03-03T08:12:59Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• MoT: Memory-of-Thought Enables ChatGPT to Self-Improve [73.90376920653507]
  我々は,注釈付きデータセットやパラメータ更新を使わずに,大規模言語モデルによる自己改善を実現するためのフレームワークであるMemory-of-Thoughtを提案する。 実験結果から,算術的推論,常識推論,事実推論,自然言語推論において,ChatGPTの能力向上に寄与することが示唆された。
  論文  参考訳（メタデータ） (2023-05-09T05:25:05Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
  既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。 メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。 しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。 本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
  論文  参考訳（メタデータ） (2021-06-02T11:58:30Z)
• Self-Attentive Associative Memory [69.40038844695917]
  我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
  論文  参考訳（メタデータ） (2020-02-10T03:27:48Z)
• MEMO: A Deep Network for Flexible Combination of Episodic Memories [16.362284088767456]
  MEMOは長い距離で推論できる能力を備えたアーキテクチャである。 まず、外部メモリに格納されたメモリと、これらの事実を外部メモリに格納するアイテムを分離する。 第二に、適応的な検索機構を利用し、応答が生成される前に「メモリホップ」の変動数を許容する。
  論文  参考訳（メタデータ） (2020-01-29T15:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。