論文の概要: Needle in the Haystack for Memory Based Large Language Models

• arxiv url: http://arxiv.org/abs/2407.01437v2
• Date: Fri, 12 Jul 2024 17:20:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 04:08:24.032990
• Title: Needle in the Haystack for Memory Based Large Language Models
• Title（参考訳）: メモリベース大規模言語モデルのためのHaystackの針
• Authors: Elliot Nelson, Georgios Kollias, Payel Das, Subhajit Chaudhury, Soham Dan,
• Abstract要約: 現在の大規模言語モデル(LLM)は、単純な事実検索タスクではよく機能しない。 動的に適応可能な外部メモリをLCMに結合することでこの問題を軽減することができるか検討する。 テキストサンプルのエピソードを高速に書き書きできるLarimarの外部メモリは、テスト時に、トレーニング中に見られるものよりもはるかに長いコンテキストを扱うために使用できることを示した。
• 参考スコア（独自算出の注目度）: 31.885539843977472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current large language models (LLMs) often perform poorly on simple fact retrieval tasks. Here we investigate if coupling a dynamically adaptable external memory to a LLM can alleviate this problem. For this purpose, we test Larimar, a recently proposed language model architecture which uses an external associative memory, on long-context recall tasks including passkey and needle-in-the-haystack tests. We demonstrate that the external memory of Larimar, which allows fast write and read of an episode of text samples, can be used at test time to handle contexts much longer than those seen during training. We further show that the latent readouts from the memory (to which long contexts are written) control the decoder towards generating correct outputs, with the memory stored off of the GPU. Compared to existing transformer-based LLM architectures for long-context recall tasks that use larger parameter counts or modified attention mechanisms, a relatively smaller size Larimar is able to maintain strong performance without any task-specific training or training on longer contexts.
• Abstract（参考訳）: 現在の大規模言語モデル(LLM)は、単純な事実検索タスクではよく機能しない。 本稿では、動的に適応可能な外部メモリをLCMに結合することで、この問題を軽減することができるか検討する。 この目的のために、我々は最近提案された言語モデルアーキテクチャであるLarimarを、パスキーやニードル・イン・ザ・ヘイスタックテストを含む長いコンテキストのリコールタスクでテストする。 テキストサンプルのエピソードを高速に書き書きできるLarimarの外部メモリは、テスト時に、トレーニング中に見られるものよりもはるかに長いコンテキストを扱うために使用できることを示した。 さらに、メモリからの遅延読み出し(長いコンテキストが書かれる)がデコーダを制御して正しい出力を生成し、メモリはGPUから外されることを示す。 より大きいパラメータ数または修正された注意機構を使用する長文リコールタスクのための既存のトランスフォーマーベースのLLMアーキテクチャと比較すると、比較的小さなLarimarはタスク固有のトレーニングや長いコンテキストでのトレーニングをすることなく、強いパフォーマンスを維持することができる。

関連論文リスト

• HMT: Hierarchical Memory Transformer for Long Context Language Processing [35.730941605490194]
  Hierarchical Memory Transformer (HMT) は、モデル長文処理機能を実現し、改善する新しいフレームワークである。 我々は,HMTがコンテキスト制約付き長文モデルの長文処理能力を着実に改善していることを示す。
  論文  参考訳（メタデータ） (2024-05-09T19:32:49Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。 実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。 私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• Larimar: Large Language Models with Episodic Memory Control [62.70727449128647]
  Larimarは、分散エピソードメモリで大規模言語モデルを拡張するための、脳にインスパイアされたアーキテクチャである。 複数のファクト編集ベンチマークの実験結果は、Larimarが最も競争力のあるベースラインに匹敵する精度を達成したことを示している。 本稿では,Larimarを用いた選択的事実認識,情報漏洩防止,入力コンテキスト長の一般化のためのメカニズムを提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:01:42Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)
• Augmenting Language Models with Long-Term Memory [142.04940250657637]
  既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:13:39Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。