ExperienceIndex: Artifact-Grounded Memory
Abstractの概要
本論文では、過去の推論トレースから抽出された成果物に接地した経験を保存・再利用する、AIエージェント向けメモリレイヤーであるExperienceIndex（ExpIdx）を提案しています。ExpIdxは、ユーザープロファイルや抽象的な推論戦略に着目するのではなく成果物をメモリのアンカーとして扱い、過去の貢献に関する単一成果物の要約と、構造的なつながりを捉える成果物ペアの関係性という2つの形式で経験を表現します。本システムは、新しいタスクに関連する経験を検索し、モデルプロンプトと検索フレームワークの出力の双方に注入する軽量なミドルウェアとして実装されています。著者らは、ファイル、文書、コードベース、表など、複数のドメイン、モダリティ、およびエージェント型検索フレームワークにわたってExpIdxを評価しています。
新規性
特筆すべき貢献は、過去のタスクで遭遇した特定の成果物に関する知識を保持・再利用するために設計された、エージェントシステム向けの成果物中心型メモリメカニズムです。単一成果物および成果物ペアの経験の組み合わせと、ミドルウェアに基づく検索および注入機能により、ユーザープロファイル、事実属性、抽象的推論パターン、またはオフラインでのコーパス強化を中心とした従来のメモリアプローチと差別化されています。
成果
報告された評価全体において、ExpIdxはベースとなるエージェントソリューションと比較して、最大11.0ポイントのスコア向上と最大50.5%のオンラインコスト削減を達成し、回答品質を一貫して向上させながらオンラインコストを低減させました。評価モデルの平均では、比較手法の中で最も高い回答スコアと最も低いオンラインコストを達成しつつ、オフライン強化ベースラインと比べてインデックス作成コストとストレージフットプリントを大幅に削減しました。また、SpiderからMMQAへのタスク間転移や、強力なモデルの経験を活用して軽量なモデルがより低コストで同等の性能を達成する教師・生徒設定についても報告されています。
論文の注目点
- ExpIdxは、過去の推論トレースから得られた再利用可能な成果物接地型の経験を、単一成果物の貢献と成果物ペアの関係性という2つの補完的な形式で保存する。
- 検索された成果物を洗練させてモデルコンテキストを拡張する軽量ミドルウェアとして動作し、複数の検索フレームワークやタスク設定に対応する。
- 実証結果から一貫した品質および効率の向上が示されたほか、共有成果物コーパスを介したタスク間汎化や教師・生徒モデル間転移の有効性が確認された。