論文の概要: TokMem: Tokenized Procedural Memory for Large Language Models
- arxiv url: http://arxiv.org/abs/2510.00444v1
- Date: Wed, 01 Oct 2025 02:51:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:20.340865
- Title: TokMem: Tokenized Procedural Memory for Large Language Models
- Title（参考訳）: TokMem: 大規模言語モデルのためのTokenized Procedural Memory
- Authors: Zijun Wu, Yongchang Hao, Lili Mou,
- Abstract要約: TokMemはトークン化された手続き型メモリで、繰り返し手順をコンパクトで訓練可能な埋め込みとして保存する。
TokMemはバックボーンモデルをフリーズし、既存のものと干渉することなく新しいプロシージャを追加することができる。
TokMemは1000のタスクでアトミックリコールを行い、関数呼び出しタスクでコンポジションリコールを行い、連続的に検索・拡張生成を上回ります。
- 参考スコア（独自算出の注目度）: 28.258832828175297
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Large language models rely heavily on prompts to specify tasks, recall knowledge and guide reasoning. However, this reliance is inefficient as prompts must be re-read at each step, scale poorly across tasks, and lack mechanisms for modular reuse. We introduce TokMem, a tokenized procedural memory that stores recurring procedures as compact, trainable embeddings. Each memory token encodes both an address to a procedure and a control signal that steers generation, enabling targeted behavior with constant-size overhead. To support continual adaptation, TokMem keeps the backbone model frozen, allowing new procedures to be added without interfering with existing ones. We evaluate TokMem on 1,000 tasks for atomic recall, and on function-calling tasks for compositional recall, where it consistently outperforms retrieval-augmented generation while avoiding repeated context overhead, and fine-tuning with far fewer parameters. These results establish TokMem as a scalable and modular alternative to prompt engineering and fine-tuning, offering an explicit procedural memory for LLMs.
- Abstract（参考訳）: 大規模言語モデルはタスクの指定、知識のリコール、推論のガイドに大きく依存している。
しかし、プロンプトは各ステップで読み直さなければならないため、タスク間でのスケールが悪く、モジュール再利用のメカニズムが欠如しているため、この依存は非効率である。
TokMemはトークン化された手続き型メモリで、繰り返し手順をコンパクトで訓練可能な埋め込みとして保存する。
各メモリトークンは、プロシージャへのアドレスと、生成する制御信号の両方を符号化し、一定サイズのオーバーヘッドでターゲットの動作を可能にする。
継続的適応をサポートするため、TokMemはバックボーンモデルを凍結し、既存のものと干渉することなく新しいプロシージャを追加することができる。
TokMemを1000タスクの原子リコールと関数呼び出しタスクで評価し、連続的なコンテキストオーバーヘッドを回避し、はるかに少ないパラメータで微調整をしながら、連続的に検索強化生成を上回ります。
これらの結果により、TokMemはエンジニアリングと微調整を迅速に行うためのスケーラブルでモジュール化された代替品として確立され、LSMの明示的な手続き型メモリを提供する。
関連論文リスト
- MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
大きな言語モデル(LLM)は、長期化タスクにますます使われています。
現在の手法はコストと精度のトレードオフに直面している。
MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
論文 参考訳（メタデータ） (2026-03-03T02:57:38Z) - AtomMem : Learnable Dynamic Agentic Memory with Atomic Memory Operation [40.1709026042412]
本稿では,メモリ管理を動的意思決定問題として再設計するAtomMemを提案する。
教師付き微調整と強化学習を組み合わせることで、AtomMemは、メモリの振る舞いをオーケストレーションする自律的なタスク整合ポリシーを学ぶ。
3つの長期コンテキストベンチマークの実験結果から、トレーニング済みのAtomMem-8Bは、従来の静的ワークフローメモリメソッドよりも一貫して優れていたことが示されている。
論文 参考訳（メタデータ） (2026-01-13T08:22:28Z) - Learning How to Remember: A Meta-Cognitive Management Method for Structured and Transferable Agent Memory [31.318565330948562]
本稿では,メタ認知メモリ抽象化法(MCMA)を提案する。
MCMAはメモリ抽象化を、一定の設計選択ではなく、学習可能な認知スキルとして扱う。
ALFWorld、ScienceWorld、BabyAIの実験では、パフォーマンス、アウト・オブ・ディストリビューションの一般化、クロスタスク転送が大幅に改善された。
論文 参考訳（メタデータ） (2026-01-12T12:26:02Z) - Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。
既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。
本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
論文 参考訳（メタデータ） (2026-01-05T08:24:16Z) - Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。
以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
論文 参考訳（メタデータ） (2025-10-27T18:03:50Z) - Memp: Exploring Agent Procedural Memory [72.41472703974935]
LLM(Large Language Models)ベースのエージェントは様々なタスクをこなすが、静的パラメータで手動で設計または絡み合うような不安定なプロシージャメモリに悩まされる。
本稿では,過去のエージェントの軌跡をステップバイステップの細粒度と高レベルなスクリプトライクな抽象化の両方に蒸留するMempを提案する。
メモリレポジトリが洗練されるにつれて、エージェントは着実に高い成功率と類似タスクの効率を達成できることを示す。
論文 参考訳（メタデータ） (2025-08-08T16:20:56Z) - MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training [24.066283519769968]
大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。
本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。
MeMOはMegatron-LMやDeepSpeedと比べて平均1.97倍と1.80倍のMFUを達成している。
論文 参考訳（メタデータ） (2024-07-16T18:59:49Z) - PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。
近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
論文 参考訳（メタデータ） (2024-07-04T10:37:58Z) - HMT: Hierarchical Memory Transformer for Efficient Long Context Language Processing [33.720656946186885]
Hierarchical Memory Transformer (HMT) はモデル長文処理を容易にする新しいフレームワークである。
HMTは、既存のモデルの長文処理能力を一貫して改善する。
論文 参考訳（メタデータ） (2024-05-09T19:32:49Z) - MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。
実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
論文 参考訳（メタデータ） (2024-04-17T18:13:16Z) - Ever-Evolving Memory by Blending and Refining the Past [30.63352929849842]
CREEMは長期会話のための新しい記憶システムである。
過去と現在の情報をシームレスに接続すると同時に、障害情報を忘れる能力も備えている。
論文 参考訳（メタデータ） (2024-03-03T08:12:59Z) - Memory Efficient Neural Processes via Constant Memory Attention Block [55.82269384896986]
CMANP(Constant Memory Attentive Neural Processs)は、NPの変種である。
我々は,CMANPが従来の手法よりもはるかにメモリ効率が良く,NPベンチマークで最先端の結果が得られることを示した。
論文 参考訳（メタデータ） (2023-05-23T23:10:19Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳（メタデータ） (2022-04-15T06:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。