論文の概要: CAMELoT: Towards Large Language Models with Training-Free Consolidated
Associative Memory
- arxiv url: http://arxiv.org/abs/2402.13449v1
- Date: Wed, 21 Feb 2024 01:00:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 17:32:09.697414
- Title: CAMELoT: Towards Large Language Models with Training-Free Consolidated
Associative Memory
- Title(参考訳): camelot: トレーニングフリーな統合連想メモリを備えた大規模言語モデルに向けて
- Authors: Zexue He, Leonid Karlinsky, Donghyun Kim, Julian McAuley, Dmitry
Krotov, Rogerio Feris
- Abstract要約: 大規模言語モデル(LLM)は、メモリとランタイムのコストが高いため、長い入力シーケンスを扱うのに苦労する。
本稿では,事前学習した(凍結した)注意に基づくLCMに再学習せずに結合可能な連想記憶モジュールを提案する。
CAMELoTと呼ばれるこのアーキテクチャは、128トークンの小さなコンテキストウィンドウでも優れたパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 38.429707659685974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) struggle to handle long input sequences due to
high memory and runtime costs. Memory-augmented models have emerged as a
promising solution to this problem, but current methods are hindered by limited
memory capacity and require costly re-training to integrate with a new LLM. In
this work, we introduce an associative memory module which can be coupled to
any pre-trained (frozen) attention-based LLM without re-training, enabling it
to handle arbitrarily long input sequences. Unlike previous methods, our
associative memory module consolidates representations of individual tokens
into a non-parametric distribution model, dynamically managed by properly
balancing the novelty and recency of the incoming data. By retrieving
information from this consolidated associative memory, the base LLM can achieve
significant (up to 29.7% on Arxiv) perplexity reduction in long-context
modeling compared to other baselines evaluated on standard benchmarks. This
architecture, which we call CAMELoT (Consolidated Associative Memory Enhanced
Long Transformer), demonstrates superior performance even with a tiny context
window of 128 tokens, and also enables improved in-context learning with a much
larger set of demonstrations.
- Abstract(参考訳): 大規模言語モデル(LLM)は、メモリとランタイムのコストが高いため、長い入力シーケンスを扱うのに苦労する。
メモリ拡張モデルがこの問題の有望な解決策として登場したが、現在のメソッドはメモリ容量の制限によって妨げられ、新しいLLMとの統合にはコストがかかる。
本研究では,事前学習された注意に基づくllmと再トレーニングすることなく結合可能な連想メモリモジュールを導入し,任意に長い入力シーケンスを処理できるようにする。
従来の手法とは異なり,アソシエーションメモリモジュールは個々のトークンの表現を非パラメトリック分布モデルに統合し,受信データの新しさと頻度を適切にバランスさせることで動的に管理する。
この統合された連想メモリから情報を取得することで、標準ベンチマークで評価された他のベースラインと比較して、LLMは長いコンテキストモデリングにおいて重要な(Arxivで最大29.7%)パープレキシティの低下を達成できる。
CAMELoT (Consolidated Associative Memory Enhanced Long Transformer) と呼ばれるこのアーキテクチャは、128トークンの小さなコンテキストウインドウでも優れた性能を示し、さらにより大きなデモセットでコンテキスト内学習を改善することができる。
関連論文リスト
- Online Adaptation of Language Models with a Memory of Amortized Contexts [86.91360597169563]
MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。
本稿では,新しい文書から情報を圧縮・抽出するメモリ拡張手法を提案する。
実験では,オンライン適応性能,時間,メモリ効率など,MACの複数の面での優位性を実証した。
論文 参考訳(メタデータ) (2024-03-07T08:34:57Z) - Frustratingly Simple Memory Efficiency for Pre-trained Language Models
via Dynamic Embedding Pruning [42.652021176354644]
プレトレーニング言語モデル(PLM)のメモリフットプリントは、メモリ制限された設定でのデプロイメントを妨げる可能性がある。
本稿では, 組込み行列のメモリフットプリントを最小化するために, この発見を活用する, 単純かつ効果的な手法を提案する。
このアプローチは、幅広いモデルやタスクにわたるメモリ使用量を大幅に削減することを示している。
論文 参考訳(メタデータ) (2023-09-15T19:00:00Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。
本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-26T07:25:31Z) - Semiparametric Language Models Are Scalable Continual Learners [83.74414880208334]
セミパラメトリック言語モデル(LM)は、新しいテキストデータから継続的に学習する上で有望であることを示す。
Selective Memorization(SeMem)と呼ばれるシンプルで直感的なアプローチを提案する。
SeMemは、モデルが苦労する可能性のある難しいサンプルのみを記憶している。
論文 参考訳(メタデータ) (2023-03-02T17:15:02Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳(メタデータ) (2022-05-26T08:24:01Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳(メタデータ) (2021-02-24T19:55:49Z) - Learning Associative Inference Using Fast Weight Memory [12.239487954915646]
FWM(Fast Weight Memory)と呼ばれる連想メモリによるLSTMモデルの拡張
我々のモデルは勾配降下法によりエンドツーエンドに訓練され、合成言語推論問題において優れた性能が得られる。
論文 参考訳(メタデータ) (2020-11-16T10:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。