論文の概要: Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory
- arxiv url: http://arxiv.org/abs/2608.07169v1
- Date: Fri, 07 Aug 2026 12:43:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.497637
- Title: Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory
- Title(参考訳): エージェントメモリ蒸留 : 階層型教師メモリによる小型LDMエージェントの活用
- Abstract要約: エージェントメモリ蒸留(Agen Memory Distillation、AMD)は、大規模な教師エージェントから階層的な記憶を通じて、構造化された知識を小さな学生エージェントに転送する、トレーニング不要のフレームワークである。
メモリはタスクレベルの戦略を符号化し、サブタスクメモリは具体的な振る舞いの例を提供し、ファンクションメモリは関数ごとの呼び出し規約をキャプチャする。
GPT-5-miniを教師とする4つの学生モデル(4B-8Bパラメータ)を用いた3つのツールユースベンチマークでAMDを評価し,平均精度27.2%p,11.2%p,3.4%pのAppWorld,BFCL Vを用いた。
- 参考スコア(独自算出の注目度): 49.6908961629532
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory systems have shown promise for improving agent performance, but their potential remains largely unexplored for small language models, which struggle to generate sufficient successful trajectories on their own. We propose Agent Memory Distillation (AMD), a training-free framework that transfers structured knowledge from a large teacher agent to a small student agent through hierarchical memory. AMD constructs three complementary memory types from successful teacher trajectories: Workflow memory encodes task-level strategies, Subtask memory provides concrete behavioral examples at an intermediate granularity, and Function memory captures per-function calling conventions and common pitfalls. Workflow and Subtask memories are injected proactively at the start of each task, while Function memory is retrieved reactively upon tool-calling errors. We evaluate AMD on three tool-use benchmarks using four student models (4B-8B parameters) with GPT-5-mini as the teacher, achieving average accuracy gains of 27.2%p, 11.2%p, and 3.4%p on AppWorld, BFCL V3, and ToolSandbox, while consistently outperforming existing memory-based baselines. Further analysis shows that Subtask memory contributes the largest gains, teacher effectiveness depends on both teacher capability and student compatibility, and 4B-sized students benefit most from AMD.
- Abstract(参考訳): メモリシステムはエージェントのパフォーマンスを改善するという約束を示しているが、その潜在能力は小さな言語モデルでは探索されていない。
本研究では,大規模教員から小学生エージェントに階層記憶を通じて構造化知識を伝達する学習自由フレームワークであるエージェントメモリ蒸留(AMD)を提案する。
ワークフローメモリはタスクレベルの戦略を符号化し、Subtaskメモリは中間粒度で具体的な振る舞いの例を提供し、ファンクションメモリは関数ごとの呼び出し規約と共通の落とし穴をキャプチャする。
ワークフローとSubtaskメモリはタスクの開始時に積極的に注入され、Functionメモリはツール呼び出しエラー時にリアクティブに取得される。
GPT-5-miniを教師とする4つの学生モデル(4B-8Bパラメータ)を用いた3つのツールユースベンチマークでAMDを評価し,AppWorld,BFCL V3,ToolSandboxにおける平均精度27.2%p,11.2%p,3.4%pを達成した。
さらに分析したところ、Subtaskメモリは最大の利得をもたらし、教師効果は教師能力と生徒の適合性に依存し、4Bサイズの学生はAMDの恩恵を受けることがわかった。
関連論文リスト
- Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳(メタデータ) (2026-07-15T08:32:40Z) - AutoMem: Automated Learning of Memory as a Cognitive Skill [63.07128029793901]
記憶の専門知識は学習したスキルであることを示す。
メモリ管理の2つの軸を自動化するフレームワークであるAutoMemを紹介する。
その結果,メモリ管理は独立して学習可能なスキルであることが示唆された。
論文 参考訳(メタデータ) (2026-07-01T17:57:03Z) - MemTrain: Self-Supervised Context Memory Training [40.64801276577851]
既存のメモリエージェントアプローチは通常、下流タスクで強化学習を施したエンドツーエンドで訓練される。
MemTrainは、LLMエージェントのコンテキストメモリ能力を高めるための自己教師型トレーニングフレームワークである。
MemTrainは、異なるモデル間のダウンストリームメモリ集約推論性能を一貫して改善する。
論文 参考訳(メタデータ) (2026-06-02T05:56:24Z) - MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。
MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。
MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
論文 参考訳(メタデータ) (2026-05-20T07:25:33Z) - Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。
既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。
本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
論文 参考訳(メタデータ) (2026-01-05T08:24:16Z) - Mem-α: Learning Memory Construction via Reinforcement Learning [20.916677456417464]
大きな言語モデル(LLM)エージェントは、限られたコンテキストウィンドウによって制約される。
現在のメモリ拡張エージェントは、メモリ更新のための事前に定義された命令とツールに依存している。
Mem-alphaは、エージェントに複雑なメモリシステムを効果的に管理するように訓練する強化学習フレームワークである。
論文 参考訳(メタデータ) (2025-09-30T08:02:34Z) - Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。
本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
論文 参考訳(メタデータ) (2025-08-27T12:26:55Z) - Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning [41.94295877935867]
メモリは、エージェントが時間的および空間的依存関係を持つ複雑なタスクに対処できるようにするために不可欠である。
多くの強化学習アルゴリズムにはメモリが組み込まれているが、エージェントのメモリ能力を評価するための普遍的なベンチマークがない。
メモリRLの総合ベンチマークであるMIKASAを紹介する。
論文 参考訳(メタデータ) (2025-02-14T20:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。