論文の概要: RET-LLM: Towards a General Read-Write Memory for Large Language Models

• arxiv url: http://arxiv.org/abs/2305.14322v2
• Date: Thu, 24 Oct 2024 17:59:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:23.542650
• Title: RET-LLM: Towards a General Read-Write Memory for Large Language Models
• Title（参考訳）: RET-LLM:大規模言語モデルのための一般的な読み書きメモリを目指して
• Authors: Ali Modarressi, Ayyoob Imani, Mohsen Fayyaz, Hinrich Schütze,
• Abstract要約: RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
• 参考スコア（独自算出の注目度）: 53.288356721954514
• License:
• Abstract: Large language models (LLMs) have significantly advanced the field of natural language processing (NLP) through their extensive parameters and comprehensive data utilization. However, existing LLMs lack a dedicated memory unit, limiting their ability to explicitly store and retrieve knowledge for various tasks. In this paper, we propose RET-LLM a novel framework that equips LLMs with a general write-read memory unit, allowing them to extract, store, and recall knowledge from the text as needed for task performance. Inspired by Davidsonian semantics theory, we extract and save knowledge in the form of triplets. The memory unit is designed to be scalable, aggregatable, updatable, and interpretable. Through qualitative evaluations, we demonstrate the superiority of our proposed framework over baseline approaches in question answering tasks. Moreover, our framework exhibits robust performance in handling temporal-based question answering tasks, showcasing its ability to effectively manage time-dependent information.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、その広範なパラメータと包括的なデータ利用を通じて、自然言語処理(NLP)の分野を著しく進歩させてきた。 しかし、既存のLLMには専用のメモリユニットがなく、様々なタスクの知識を明示的に保存し、取得する能力に制限がある。 本稿では,RET-LLMを提案する。RET-LLMは,LCMに一般的な書き込み読み取りメモリユニットを装備し,タスク性能に必要なテキストから知識を抽出し,保存し,リコールすることを可能にする。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 メモリユニットはスケーラブルでアグリガブルで、アップダブルで、解釈可能であるように設計されている。 質的評価を通じて,質問応答課題に対するベースラインアプローチよりも,提案手法が優れていることを示す。 さらに,時間依存型質問応答タスクを効果的に管理する能力を示すとともに,時間依存型質問応答タスクの処理における堅牢な性能を示す。

関連論文リスト

• Assessing Episodic Memory in LLMs with Sequence Order Recall Tasks [42.22616978679253]
  本稿では,認知心理学におけるエピソード記憶研究の課題から順応する逐次リコールタスク(SORT)を紹介する。 SORTはLLMにテキストセグメントの正しい順序を思い出させる必要があり、拡張が容易で追加のアノテーションを必要としない一般的なフレームワークを提供する。 155人の被験者による人間実験から,本書の長期記憶に基づくシーケンス順序を再現できることが示唆された。
  論文  参考訳（メタデータ） (2024-10-10T17:17:38Z)
• MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery [24.38640001674072]
  Retrieval-Augmented Generation (RAG)は、検索ツールを利用して外部データベースにアクセスする。 既存のRAGシステムは主に簡単な質問応答タスクに有効である。 本稿では,MemoRAGを提案する。
  論文  参考訳（メタデータ） (2024-09-09T13:20:31Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  大規模言語モデル(LLM)は、実際に目に見えないタスクに一般化するか、大量の事前学習データを記憶することに依存するかという議論を引き起こしている。 本稿では,LLMの出力確率と事前学習データ頻度との相関を計測する,メモリ化,分散メモリ化という拡張された概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 暗記がより大きな役割を果たすことを示した。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Needle in the Haystack for Memory Based Large Language Models [31.885539843977472]
  現在の大規模言語モデル(LLM)は、単純な事実検索タスクではよく機能しない。 動的に適応可能な外部メモリをLCMに結合することでこの問題を軽減することができるか検討する。 テキストサンプルのエピソードを高速に書き書きできるLarimarの外部メモリは、テスト時に、トレーニング中に見られるものよりもはるかに長いコンテキストを扱うために使用できることを示した。
  論文  参考訳（メタデータ） (2024-07-01T16:32:16Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。 実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。 私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。