論文の概要: SirLLM: Streaming Infinite Retentive LLM

• arxiv url: http://arxiv.org/abs/2405.12528v1
• Date: Tue, 21 May 2024 06:37:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 14:08:52.842594
• Title: SirLLM: Streaming Infinite Retentive LLM
• Title（参考訳）: SirLLM:無期限リテンションLDMのストリーミング
• Authors: Yao Yao, Zuchao Li, Hai Zhao,
• Abstract要約: 大きな言語モデル(LLM)は任意の長さの入力を処理し、メモリの程度を維持する。 近年の取り組みでは、過度に長いテキスト入力の圧力を軽減するためにストリーミング入力が採用されている。 本稿では,SirLLM(Streaming Infinite Retentive LLM)を提案する。
• 参考スコア（独自算出の注目度）: 74.40196814292426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) become increasingly prevalent in various domains, their ability to process inputs of any length and maintain a degree of memory becomes essential. However, the one-off input of overly long texts is limited, as studies have shown that when input lengths exceed the LLMs' pre-trained text length, there is a dramatic decline in text generation capabilities. Moreover, simply extending the length of pre-training texts is impractical due to the difficulty in obtaining long text data and the substantial memory consumption costs this would entail for LLMs. Recent efforts have employed streaming inputs to alleviate the pressure of excessively long text inputs, but this approach can significantly impair the model's long-term memory capabilities. Motivated by this challenge, we introduce Streaming Infinite Retentive LLM (SirLLM), which allows LLMs to maintain longer memory during infinite-length dialogues without the need for fine-tuning. SirLLM utilizes the Token Entropy metric and a memory decay mechanism to filter key phrases, endowing LLMs with both long-lasting and flexible memory. We designed three distinct tasks and constructed three datasets to measure the effectiveness of SirLLM from various angles: (1) DailyDialog; (2) Grocery Shopping; (3) Rock-Paper-Scissors. Our experimental results robustly demonstrate that SirLLM can achieve stable and significant improvements across different LLMs and tasks, compellingly proving its effectiveness. When having a coversation, "A sir could forget himself," but SirLLM never does! Our code is publicly available at https://github.com/Zoeyyao27/SirLLM
• Abstract（参考訳）: 大規模言語モデル(LLM)が様々な領域で普及するにつれて、任意の長さの入力を処理し、メモリの程度を維持する能力が不可欠になる。 しかし、LLMの事前訓練されたテキスト長を超えると、テキスト生成能力が劇的に低下することが研究で示されているように、過度に長いテキストのワンオフ入力は限られている。 さらに、長いテキストデータを取得するのが困難であり、LCMにとってかなりのメモリ消費コストがかかるため、事前学習したテキストの長さを単純に伸ばすことは現実的ではない。 最近の取り組みでは、過度に長いテキスト入力の圧力を軽減するためにストリーミング入力を採用しているが、このアプローチはモデルの長期記憶能力を著しく損なう可能性がある。 この課題に動機づけられたSirLLM(Streaming Infinite Retentive LLM)を導入し、細調整を必要とせず、無限長の対話においてLLMが長いメモリを維持できるようにする。 SirLLM は Token Entropy メトリックとメモリ崩壊機構を使用してキーフレーズをフィルタリングし、長寿命メモリとフレキシブルメモリの両方で LLM を付与する。 我々は,(1)DailyDialog,(2)Grocery Shopping,(3)Rock-Paper-Scissorsの3つの異なるタスクを設計し,SirLLMの有効性を測定するために3つのデータセットを構築した。 実験の結果,SirLLM は様々な LLM やタスクにまたがって安定かつ重要な改善を達成できることを示した。 表紙を飾った時、「サーは自分自身を忘れることができた」が、サー・LLMは決して忘れなかった。 私たちのコードはhttps://github.com/Zoeyyao27/SirLLMで公開されています。

関連論文リスト

• Efficient Solutions For An Intriguing Failure of LLMs: Long Context Window Does Not Mean LLMs Can Analyze Long Sequences Flawlessly [6.685692482347038]
  大規模言語モデル(LLM)は、長い逐次入力の解釈と解析において顕著な能力を示した。 本稿では,長い入力シーケンスを扱う場合,LLMが短くなるという,驚くべき制限を明らかにする。 本稿では,LLMの性能を最大50%向上させるアドホックな手法を提案し,評価する。
  論文  参考訳（メタデータ） (2024-08-03T21:31:34Z)
• Needle in the Haystack for Memory Based Large Language Models [31.885539843977472]
  現在の大規模言語モデル(LLM)は、単純な事実検索タスクではよく機能しない。 動的に適応可能な外部メモリをLCMに結合することでこの問題を軽減することができるか検討する。 テキストサンプルのエピソードを高速に書き書きできるLarimarの外部メモリは、テスト時に、トレーニング中に見られるものよりもはるかに長いコンテキストを扱うために使用できることを示した。
  論文  参考訳（メタデータ） (2024-07-01T16:32:16Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。 実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。 私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory [93.20588235940453]
  本稿では,トレーニング不要なメモリベースのInfLLMを提案する。 InfLLMは、リモートコンテキストを追加のメモリユニットに格納し、トークン関連ユニットを注目するために効率的なメカニズムを使用する。 シーケンス長が$1,024$Kにスケールしても、InfLLMは依然として、長距離依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-02-07T06:50:42Z)
• LM-Infinite: Zero-Shot Extreme Length Generalization for Large Language Models [83.98062659664785]
  大規模言語モデル(LLM)は通常、トランスフォーマーアーキテクチャの2次複雑さのために短いテキストセグメント(例:4Kトークン)でトレーニングする。 この研究は、この長大一般化失敗に寄与する3つの主要な要因を特定する。 本研究では,LLMの長期処理能力を高めるための簡易かつ効果的な手法であるLM-Infiniteを提案する。
  論文  参考訳（メタデータ） (2023-08-30T16:47:51Z)
• Augmenting Language Models with Long-Term Memory [142.04940250657637]
  既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:13:39Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。