論文の概要: Memory Bank Compression for Continual Adaptation of Large Language Models

• arxiv url: http://arxiv.org/abs/2601.00756v1
• Date: Fri, 02 Jan 2026 17:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.612741
• Title: Memory Bank Compression for Continual Adaptation of Large Language Models
• Title（参考訳）: 大規模言語モデルの連続適応のためのメモリバンク圧縮
• Authors: Thomas Katraouras, Dimitrios Rafailidis,
• Abstract要約: 継続学習は、獲得した知識を消去することなく、新しい情報で大規模言語モデルを更新することを目的としている。 メモリ拡張アプローチは、LCMをメモリバンクに装備することでこの問題に対処する。 我々は,オンライン適応学習において,コードブック最適化戦略を通じてメモリバンクを圧縮するモデルMBCを提案する。
• 参考スコア（独自算出の注目度）: 1.9336815376402718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have become a mainstay for many everyday applications. However, as data evolve their knowledge quickly becomes outdated. Continual learning aims to update LLMs with new information without erasing previously acquired knowledge. Although methods such as full fine-tuning can incorporate new data, they are computationally expensive and prone to catastrophic forgetting, where prior knowledge is overwritten. Memory-augmented approaches address this by equipping LLMs with a memory bank, that is an external memory module which stores information for future use. However, these methods face a critical limitation, in particular, the memory bank constantly grows in the real-world scenario when large-scale data streams arrive. In this paper, we propose MBC, a model that compresses the memory bank through a codebook optimization strategy during online adaptation learning. To ensure stable learning, we also introduce an online resetting mechanism that prevents codebook collapse. In addition, we employ Key-Value Low-Rank Adaptation in the attention layers of the LLM, enabling efficient utilization of the compressed memory representations. Experiments with benchmark question-answering datasets demonstrate that MBC reduces the memory bank size to 0.3% when compared against the most competitive baseline, while maintaining high retention accuracy during online adaptation learning. Our code is publicly available at https://github.com/Thomkat/MBC.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多くの日常的なアプリケーションにおいて主要な基盤となっている。 しかし、データが進化するにつれて知識は急速に時代遅れになる。 継続的な学習は、以前に獲得した知識を消去することなく、新しい情報でLSMを更新することを目的としている。 完全な微調整のような手法は、新しいデータを組み込むことができるが、計算的に高価であり、事前の知識が上書きされた破滅的な忘れ込みをしがちである。 メモリ拡張アプローチでは、LCMをメモリバンクに装備することでこの問題に対処する。 しかし、これらの手法には限界があり、特に大規模なデータストリームが到着すると、メモリバンクは現実のシナリオで常に成長する。 本稿では,オンライン適応学習におけるコードブック最適化戦略を通じて,メモリバンクを圧縮するMBCを提案する。 また、安定した学習を確保するために、コードブックの崩壊を防ぐオンラインリセット機構を導入する。 さらに,LLMの注目層にキー値の低ランク適応を導入し,圧縮メモリ表現の効率よく活用する。 ベンチマーク質問回答データセットを用いた実験では、MBCは、オンライン適応学習中に高い保持精度を維持しながら、最も競争力のあるベースラインと比較すると、メモリバンクサイズを0.3%削減することを示した。 私たちのコードはhttps://github.com/Thomkat/MBC.comで公開されています。

関連論文リスト

• MemOS: A Memory OS for AI System [116.87568350346537]
  大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。 既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。 MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
  論文  参考訳（メタデータ） (2025-07-04T17:21:46Z)
• CMT: A Memory Compression Method for Continual Knowledge Learning of Large Language Models [22.93893181000535]
  大規模言語モデル(LLM)は、データ、タスク、ユーザの好みの継続的な変更に適応する必要がある。 本稿では,これらの課題に対処するため,圧縮記憶訓練(CMT)法を提案する。 CMTは、メモリバンクに格納される新しい文書から情報を圧縮して抽出する。 これらの新しいドキュメントに関する問い合わせに答えると、モデルはこれらのドキュメントの記憶をメモリバンクから集約し、ユーザーの質問に答える。
  論文  参考訳（メタデータ） (2024-12-10T10:35:19Z)
• MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training [24.066283519769968]
  大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。 本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 MeMOはMegatron-LMやDeepSpeedと比べて平均1.97倍と1.80倍のMFUを達成している。
  論文  参考訳（メタデータ） (2024-07-16T18:59:49Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。 実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• Improving information retention in large scale online continual learning [99.73847522194549]
  オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。 最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。 非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:59:43Z)
• Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
  一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。 本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。 また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
  論文  参考訳（メタデータ） (2022-05-08T02:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。