Learning Personalized Memory Gating from Delayed One-Sided Feedback
Abstractの概要
本論文は、LLMメモリシステムにおける事実レベルでのパーソナライズされたメモリゲーティングを調査し、有限のメモリバジェットの下で抽出されたどの事実を保存すべきかという課題に取り組みます。著者らは、後続のターンで検索され、将来のユーザーターンに必要または大幅に役立つとLLM判定器によって検証された有用な事実を特定する、検索ベースのラベリングパイプラインを導入しています。また、有用性シグナルが保存された事実に対してのみ観測され未知の遅延を伴って届くという性質から、オンラインメモリゲーティングを片側遅延フィードバックを持つ文脈付きアップルテイスティング問題として定式化しています。これを解決するため、ユーザー間のオフライン事前学習とユーザー固有の調整のためのオンライン上限信頼限界（UCB）適応を組み合わせた2段階手法であるWarm-Start UCBを提案しています。
新規性
本研究は、ヒューリスティックや下流の報酬プロキシを避け、LLM判定器によって精緻化された下流の検索結果に基づく事実レベルの有用性ラベリングパイプラインを導入しています。さらに、パーソナライズされたメモリゲーティングを片側遅延フィードバックを伴うアップルテイスティング問題として定式化し、ユーザー間の事前知識とオンライン適応のバランスをとるWarm-Start UCBを提案した点に新規性があります。
成果
著者らは、規定された仮定の下でWarm-Start UCBに対するO~(min{Tε, (d√T + md)/κ_m})のオーダーの高確率リグレット限界を導出しました。PerMemBench-SおよびPerMemBench-Lでの評価において、Warm-Start UCBは全許可ストレージやLLMベースのゲーティングベースラインを一貫して上回り、PerMemBench-Lの10の評価設定中8つでオラクルを除く最高のリトリーバルヒット保持率を達成し、アブレーションによりオフライン事前学習とオンラインフィードバック適応の累積的な効果が確認されました。
論文の注目点
- 下流の検索ヒットとLLM判定器による検証を用いてメモリの事実に対するグラウンドトゥルースの有用性ラベルを生成する、検索ベースのラベリングパイプラインを提案。
- パーソナライズされた事実ゲーティングを片側遅延フィードバックを持つ文脈付きアップルテイスティング問題としてモデル化し、2段階のWarm-Start UCBアルゴリズムで解決。
- PerMemBench-SおよびPerMemBench-Lでの実験的評価により、全許可方式、固定の事前学習済みスコアラー、コールドスタートUCB、LLMベースのベースラインを上回る優れたリトリーバルヒット保持率を実証。