Fugu-MT 論文翻訳(概要): Memorilla: Latent Semantic Memory for LLMs

論文の概要: Memorilla: Latent Semantic Memory for LLMs

arxiv url: http://arxiv.org/abs/2610.21375v1
Date: Thu, 15 Oct 2026 06:55:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-16 19:13:16.240441
Title: Memorilla: Latent Semantic Memory for LLMs
Title（参考訳）: Memorilla: LLMの潜在セマンティックメモリ
Abstract要約: メモリシステムであるMemorillaを紹介します。これは,ドキュメントコレクション全体から情報を,クエリ依存のメモリトークンの固定数に収集するものです。 Memorillaはドキュメント(ユーザチャットや書籍の章など)を再利用可能な埋め込みにエンコードし、LLMの入力埋め込み空間にクエリ固有の情報を検索して配置することを学ぶ。覚醒剤は、既に調査済みの部屋の間をさまよう傾向を低下させ、その平均的な成功率を18.6%から24.2%に向上させることを示した。
参考スコア（独自算出の注目度）: 39.949115016257984
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Memory enables large language models (LLMs) to use information beyond their parameters, such as past user conversations, long documents, or an agent's earlier actions. For a frozen LLM, access to this accumulated knowledge is limited to what a memory system places in its context window. However, gathering and combining relevant information needed for each query while keeping the model's context short remains challenging for existing systems. Here we introduce Memorilla, a memory system that gathers information from an entire document collection into a fixed number of query-dependent 'memory tokens' for a frozen LLM. Memorilla encodes documents (such as user chats, book chapters) once into reusable embeddings, then learns to retrieve and place query-specific information in the LLM's input embedding space. Using only 16 memory tokens, Memorilla achieves the best performance against baselines including Mem0 and MemoRAG on five of eight benchmarks spanning personalization, long-document and knowledge-intensive question answering. Notably, on FactKG, it reaches 84.33% accuracy versus 80.43% with full-context inference, while using 108x fewer tokens to represent the source documents. Furthermore, Memorilla can facilitate continual learning in agentic systems where the document count (the agent's past turns) increases throughout the trajectory. In a TextWorld environment, we show that Memorilla reduces the agent's tendency to wander between rooms it has already explored, and improves its average success rate from 18.6% with full-history in-context learning to 24.2%. Overall, Memorilla aids frozen LLMs in accumulating and using knowledge effectively across long-context interactions and takes a step towards building continually learning AI systems.
Abstract（参考訳）: メモリは、過去のユーザ会話、長いドキュメント、エージェントの以前のアクションなどのパラメータを超える情報を使用することができる。凍結LDMの場合、この蓄積した知識へのアクセスは、メモリシステムがコンテキストウィンドウにどこにあるかに限られる。しかし、既存のシステムでは、モデルのコンテキストを短く保ちながら、各クエリに必要な関連情報を収集し、組み合わせることが依然として困難である。ここでは、メモリシステムであるMemorillaを紹介します。このメモリシステムは、ドキュメントコレクション全体から、凍結したLCMに対して、クエリ依存の「メモリトークン」の固定数に情報を収集します。 Memorillaはドキュメント(ユーザチャットや書籍の章など)を再利用可能な埋め込みにエンコードし、LLMの入力埋め込み空間にクエリ固有の情報を検索して配置することを学ぶ。 Memorillaは16のメモリトークンのみを使用して、パーソナライゼーション、長いドキュメント、知識集約的な質問応答を含む8つのベンチマークのうち、Mem0とMemoRAGを含むベースラインに対して最高のパフォーマンスを達成する。特にFactKGでは、84.33%の精度で、フルコンテキスト推論では80.43%、ソース文書を表すには108倍のトークンを使用する。さらに、Memorillaは、ドキュメントカウント(エージェントの過去のターン)が軌道全体にわたって増加するエージェントシステムにおける継続的な学習を促進することができる。 TextWorldの環境では、Memorillaは、既に調査済みの部屋の間をさまようというエージェントの傾向を減らし、その平均的な成功率を18.6%から24.2%に向上させる。全体として、Memorillaは、長期的コンテキストのインタラクションを通じて知識を効果的に蓄積し利用するために、凍結したLLMを支援し、継続的に学習するAIシステムを構築するための一歩を踏み出す。

関連論文リスト

EdgeMem: LLM-Free Agent Memory Construction and Retrieval via Evidence-Preserving Multi-Anchor Hypergraph [37.27140929522461]
既存の方法は相互作用履歴を要約やその他のLCM生成表現に圧縮する。 We propose EdgeMem, a agent-Memory method built on a simple principle: maintain original interaction turn and organize them through complementary content。
論文参考訳（メタデータ） (2026-09-03T11:17:03Z)
Agent Zero Memory: Provenance-Aware Long-Term Memory for LLM Agents [3.6666917625778193]
Agent Zero Memory(エージェントゼロメモリ)は、長期記憶システムである。ユーザの会話、ファイル、接続されたソースを3つの並列メモリシステムに消去する。
論文参考訳（メタデータ） (2026-08-30T06:55:59Z)
When Memory Takes Gradients: Collaborative Vector Memory for Agentic Recommender Systems [6.12907469209873]
エージェントレコメンデータシステムは、大きな言語モデルのそれぞれの決定を、ユーザの永続的なメモリに根拠付ける。エージェントのメモリの協調コアをベクトル化するCoVeMemを提案する。
論文参考訳（メタデータ） (2026-08-27T09:51:18Z)
Zero-Mem: Zero-Token Memory Operations for LLM Agents [17.228305588778]
Zero-Memは、元の相互作用トレースをレコードのソースとして保存する。 Zero-Memは、長期メモリと長期コンテキストの問合せベンチマークで競合するパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-07-31T13:01:06Z)
TransMem: Transforming Hidden States into Memory for Large Language Models [29.656816378992414]
大規模言語モデル(LLM)エージェントは、長い相互作用履歴を通してますます機能する。 TransMemは、凍結したLCMバックボーンから再利用可能なメモリ表現に変換する。
論文参考訳（メタデータ） (2026-07-31T05:11:04Z)
Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文参考訳（メタデータ） (2026-07-15T08:32:40Z)
LightMem: Lightweight and Efficient Memory-Augmented Generation [72.21680105265824]
我々は、メモリシステムの性能と効率のバランスをとるLightMemという新しいメモリシステムを紹介した。人間の記憶のアトキンソン・シフリンモデルにインスパイアされたLightMemは、メモリを3つの相補的なステージにまとめる。 GPTとQwenのバックボーンを用いたLongMemEvalの実験では、LightMemは高いベースライン(最大10.9%のゲイン)を上回り、トークンの使用量を最大117倍に削減している。
論文参考訳（メタデータ） (2025-10-21T17:58:17Z)
From Single to Multi-Granularity: Toward Long-Term Memory Association and Selection of Conversational Agents [79.87304940020256]
大言語モデル(LLM)は会話エージェントで広く採用されている。 MemGASは、多粒度アソシエーション、適応選択、検索を構築することにより、メモリ統合を強化するフレームワークである。 4つの長期メモリベンチマークの実験により、MemGASは質問応答と検索タスクの両方において最先端の手法より優れていることが示された。
論文参考訳（メタデータ） (2025-05-26T06:13:07Z)
RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
論文参考訳（メタデータ） (2023-05-23T17:53:38Z)
SCM: Enhancing Large Language Model with Self-Controlled Memory Framework [54.33686574304374]
大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
論文参考訳（メタデータ） (2023-04-26T07:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。