LifeMem: Enabling Lifelong Experience Reuse for LLM Agents
Abstractの概要
LifeMemは、異種環境にわたって過去の経験を蓄積・再利用しつつ破滅的忘却を緩和するために設計された、LLMエージェント向けの生涯学習フレームワークです。本フレームワークは、蓄積された相互作用の軌跡をワークフローベースのクラスターにグループ化し、各クラスターを再利用可能な高レベルのテキストスキルへと蒸留した上で、推論時に環境に適合した事例と抽象的なスキルの両方を検索します。著者らは、身体性行動、ツール利用、Web検索、データ分析、Webブラウジングにわたる10の環境と13,000件以上のタスクでLifeMemを評価し、新たに2,000件以上のアノテーション付き相互作用軌跡を提供しました。実験結果により、構造化されたメモリの進化が経験の再利用を強化し、以前に学習したタスクでの忘却を低減し、未知のドメインへの転移を向上させることが実証されています。
新規性
LifeMemは、表面的な意味的類似性のみに依存するのではなく、軌跡を機能的なワークフロークラスターに整理し、異種環境間のノイズを回避するために各クラスター内で局所的にスキルを蒸留するメモリ機構を導入しています。さらに、幾何学的な方向の多様性基準（Mean Resultant Length）に基づく適応的なクラスター洗練メカニズムも組み込んでいます。
成果
3つのバックボーンLLMにおいて、LifeMemは主要な生涯学習ベンチマークで最高の平均総合性能（GPT-4o-miniで44.13、Deepseek-v3.2-expで48.02、Qwen3-32bで46.52）を達成し、ReAct、Synapse、ExpeL、AutoSkillを一貫して上回りました。また、3つのバックボーンすべてで正の平均後方転移スコアを維持した唯一のフレームワークでありました。さらに、FEVERや航空券予約などの未知のタスクにおけるゼロショット転移を向上させ、バッファベースのストリーミング戦略によりランダム化されたタスク順序で失われた大幅な性能を回復しています。
論文の注目点
- LifeMemはエージェントの経験をワークフロークラスターに整理して環境不変のスキルへと蒸留し、推論時に環境固有の事例と組み合わせる。
- 評価は10の異種環境と13,000件以上のタスクにわたり、トレーニング分割のないデータセット向けに2,000件以上の新規アノテーション済み軌跡が提供された。
- 複数のバックボーンにわたり一貫して正の後方転移を達成し、乱雑なメモリによる負の干渉を防いでゼロショットのタスク間転移でベースラインを上回った。