論文の概要: LightMem: Lightweight and Efficient Memory-Augmented Generation

• arxiv url: http://arxiv.org/abs/2510.18866v1
• Date: Tue, 21 Oct 2025 17:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.123963
• Title: LightMem: Lightweight and Efficient Memory-Augmented Generation
• Title（参考訳）: LightMem:軽量で効率的なメモリ拡張世代
• Authors: Jizhan Fang, Xinle Deng, Haoming Xu, Ziyan Jiang, Yuqi Tang, Ziwen Xu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Huajun Chen, Ningyu Zhang,
• Abstract要約: 我々は、メモリシステムの性能と効率のバランスをとるLightMemという新しいメモリシステムを紹介した。 人間の記憶のアトキンソン・シフリンモデルにインスパイアされたLightMemは、メモリを3つの相補的なステージにまとめる。 GPTとQwenのバックボーンを用いたLongMemEvalの実験では、LightMemは高いベースライン(最大10.9%のゲイン)を上回り、トークンの使用量を最大117倍に削減している。
• 参考スコア（独自算出の注目度）: 72.21680105265824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their remarkable capabilities, Large Language Models (LLMs) struggle to effectively leverage historical interaction information in dynamic and complex environments. Memory systems enable LLMs to move beyond stateless interactions by introducing persistent information storage, retrieval, and utilization mechanisms. However, existing memory systems often introduce substantial time and computational overhead. To this end, we introduce a new memory system called LightMem, which strikes a balance between the performance and efficiency of memory systems. Inspired by the Atkinson-Shiffrin model of human memory, LightMem organizes memory into three complementary stages. First, cognition-inspired sensory memory rapidly filters irrelevant information through lightweight compression and groups information according to their topics. Next, topic-aware short-term memory consolidates these topic-based groups, organizing and summarizing content for more structured access. Finally, long-term memory with sleep-time update employs an offline procedure that decouples consolidation from online inference. Experiments on LongMemEval with GPT and Qwen backbones show that LightMem outperforms strong baselines in accuracy (up to 10.9% gains) while reducing token usage by up to 117x, API calls by up to 159x, and runtime by over 12x. The code is available at https://github.com/zjunlp/LightMem.
• Abstract（参考訳）: その顕著な能力にもかかわらず、Large Language Models (LLM) は動的で複雑な環境で歴史的相互作用情報を効果的に活用するのに苦労している。 メモリシステムは、永続的な情報ストレージ、検索、利用メカニズムを導入することで、LCMがステートレスなインタラクションを超えることができる。 しかし、既存のメモリシステムは時間と計算上のオーバーヘッドを伴っていることが多い。 この目的のために、メモリシステムの性能と効率のバランスをとるLightMemという新しいメモリシステムを導入する。 人間の記憶のアトキンソン・シフリンモデルにインスパイアされたLightMemは、メモリを3つの相補的なステージにまとめる。 まず、認知にインスパイアされた感覚記憶は、軽量な圧縮を通して無関係情報を急速にフィルタリングし、トピックに応じて情報をグループ化する。 次に、トピック対応短期記憶がこれらのトピックベースのグループを統合し、より構造化されたアクセスのためにコンテンツを整理し要約する。 最後に、スリープタイムの更新を伴う長期記憶では、オンライン推論から統合を分離するオフライン手順が採用されている。 GPTとQwenのバックボーンを使ったLongMemEvalの実験では、LightMemは高いベースライン(最大10.9%のゲイン)を上回り、トークン使用率を最大117倍、API呼び出しを最大159倍、ランタイムを最大12倍に削減している。 コードはhttps://github.com/zjunlp/LightMem.comで入手できる。

関連論文リスト

• MemOS: A Memory OS for AI System [116.87568350346537]
  大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。 既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。 MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
  論文  参考訳（メタデータ） (2025-07-04T17:21:46Z)
• Memorization and Knowledge Injection in Gated LLMs [8.305942415868042]
  大規模言語モデル(LLM)は、現在、シーケンシャルに新しい記憶を追加し、新しい知識を統合するのに苦労している。 Gated LLM (MEGa) に埋め込まれたメモリは、イベントメモリを直接 LLM の重みに注入する。 推論中、ゲーティング機構は、クエリの埋め込みとストアドメモリの埋め込みとをマッチングすることで、関連するメモリ重みを活性化する。
  論文  参考訳（メタデータ） (2025-04-30T00:28:32Z)
• ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
  VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。 本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。 本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2024-11-23T13:23:22Z)
• MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training [24.066283519769968]
  大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。 本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 MeMOはMegatron-LMやDeepSpeedと比べて平均1.97倍と1.80倍のMFUを達成している。
  論文  参考訳（メタデータ） (2024-07-16T18:59:49Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。 実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• Neural Storage: A New Paradigm of Elastic Memory [4.307341575886927]
  コンピュータメモリ内のデータの保存と検索は、システム性能において大きな役割を果たす。 我々は、脳にインスパイアされた学習記憶パラダイムであるNeural Storage(NS)を導入し、メモリをフレキシブルなニューラルメモリネットワークとして構成する。 NSは2つの代表アプリケーションに対してメモリアクセス性能を大幅に改善する。
  論文  参考訳（メタデータ） (2021-01-07T19:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。