論文の概要: Can Agents Forget When Asked? A Benchmark for Memory Unlearning in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.18052v1
• Date: Tue, 13 Oct 2026 09:41:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.580009
• Title: Can Agents Forget When Asked? A Benchmark for Memory Unlearning in LLM Agents
• Title（参考訳）: エージェントは尋ねられた時に忘れられるか? LLMエージェントの記憶学習ベンチマーク
• Abstract要約: Bemulaは、メモリアンラーニングに特化した最初のベンチマークである。 50のマルチセッション対話インスタンス、6種類の135の要求を忘れ、1,742のテスト質問を含む。 すべての評価されたシステムとバックボーンで、1.5%以上のエラー要求が終了し、ほとんど何もパスしないシステムはない。
• 参考スコア（独自算出の注目度）: 10.005835497347777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-term memory has become a core component of large language model (LLM) agents. As agents accumulate personal information over long-term use, users increasingly ask them to delete sensitive or outdated facts. A memory system should honor such requests. It should remove exactly what was requested and keep the rest of its memory intact. However, existing memory benchmarks evaluate only memory writing, retrieval, and organization, so whether agents can forget at the user's explicit request remains under-evaluated. To address this gap, we propose Bemula, the first benchmark dedicated to memory unlearning. It comprises 50 multi-session dialogue instances, 135 forget requests of six types, and 1,742 test questions. Each dialogue has a control version without the requests, so that only systems that have stored the target can earn credit for forgetting. Across the paired versions, five test suites measure storage, removal of the requested information, preservation of unrelated memories, relearning of similar facts, and resistance to extraction attacks. On Bemula, we evaluate six mainstream memory systems under three backbone LLMs, together with the Full Context LLM on two of them. The results are negative. Across all evaluated systems and backbones, no system passes more than 1.5% of forget requests end to end, and most pass none at all. These systems either leave the requested information extractable under simple attacks or delete far more than requested. Memory unlearning therefore remains an open challenge for agent memory design. We release our data and code at https://github.com/Nboxff/bemula-benchmark.
• Abstract（参考訳）: 長期記憶は、大規模言語モデル(LLM)エージェントのコアコンポーネントとなっている。 エージェントが個人情報を長期使用中に蓄積するにつれて、ユーザーは機密性や時代遅れの事実を削除するよう要求する。 メモリシステムはそのような要求を尊重すべきである。 要求されたものを正確に取り除き、残りのメモリをそのままにしておくべきです。 しかし、既存のメモリベンチマークでは、メモリ書き込み、検索、組織のみを評価するため、エージェントがユーザの明示的な要求を忘れられるかどうかはまだ未評価のままである。 このギャップに対処するため、メモリアンラーニングに特化した最初のベンチマークであるBemulaを提案する。 50のマルチセッション対話インスタンス、6種類の135の要求を忘れ、1,742のテスト質問を含む。 それぞれの対話には要求のない制御バージョンがあり、ターゲットを格納したシステムだけが忘れてしまう。 ペアバージョン全体で、5つのテストスイートがストレージを計測し、要求された情報の削除、無関係な記憶の保存、類似した事実の再学習、および抽出攻撃に対する抵抗を計測する。 Bemula では,3つのバックボーン LLM と 2 つのフルコンテキスト LLM を用いて,6 つのメインストリームメモリシステムの評価を行った。 結果は否定的だ。 すべての評価されたシステムとバックボーンで、1.5%以上のエラー要求が終了し、ほとんど何もパスしないシステムはない。 これらのシステムは、単純な攻撃で抽出可能な要求された情報を残すか、要求よりもはるかに多く削除する。 したがって、メモリアンラーニングはエージェントメモリ設計にとってオープンな課題である。 データとコードはhttps://github.com/Nboxff/bemula-benchmark.comで公開しています。

関連論文リスト

• Recall Begets Recall: Recurrent Memory Ranking for Personalized LLMs [57.42635971273594]
  本稿では,リカレントかつ自己終端ループとして動作するメモリローカであるReMindを提案する。 複合キューのために、ReMindはクエリコンテキストにトップランクのメモリを追加します。 メタメモリ監視では、収集したメモリがクエリに応答するのに十分かどうかを各ステップで予測する。
  論文  参考訳（メタデータ） (2026-10-12T03:53:47Z)
• Test-Time Memory Construction [50.916768004131505]
  大きな言語モデル(LLM)は、長いインタラクション履歴に関する質問に答えるのに苦労しています。 既存のメモリシステムは通常、ユーザクエリが観測される前に、オフラインで洗練されたメモリ表現を構築し維持する。 テスト時間メモリ構築フレームワークであるT$2$Memを提案する。
  論文  参考訳（メタデータ） (2026-10-09T10:24:51Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• MemSyco-Bench: Benchmarking Sycophancy in Agent Memory [32.49512092540906]
  MemSyco-Benchは、エージェントシステムにおけるメモリ誘起性を評価するためのベンチマークである。 MemSyco-Benchは、いつメモリが決定に影響を及ぼすか、どのように有効なメモリを使用するかを測定する。
  論文  参考訳（メタデータ） (2026-07-01T15:30:33Z)
• Beyond Similarity: Trustworthy Memory Search for Personal AI Agents [25.265839311088516]
  個人AIエージェントにおける信頼境界としてのメモリ探索について検討する。 MemGateは、信頼性の高いメモリ検索のための軽量でデプロイ可能なメモリプラグインである。
  論文  参考訳（メタデータ） (2026-06-04T11:54:29Z)
• MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
  本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。 MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。 MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
  論文  参考訳（メタデータ） (2026-05-20T07:25:33Z)
• Causal Intervention-Based Memory Selection for Long-Horizon LLM Agents [0.33842793760651557]
  制御された介入の下で,候補記憶がモデル応答に与える影響を推定する因果記憶選択手法を提案する。 以上の結果から,CMIは,信頼性の高い長期記憶には関連性のみではなく,因果的有用性に基づくコンテキスト選択が必要であることが示唆された。
  論文  参考訳（メタデータ） (2026-05-17T20:21:55Z)
• From Recall to Forgetting: Benchmarking Long-Term Memory for Personalized Agents [38.52713500119118]
  Memoraは、数週間から数ヶ月のユーザ会話にまたがる長期メモリベンチマークです。 ベンチマークでは、記憶、推論、レコメンデーションの3つのメモリグラウンドタスクを評価している。 FAMA(Forgetting-Aware Memory Accuracy)は、古いメモリや無効メモリへの依存を罰するメトリクスである。
  論文  参考訳（メタデータ） (2026-04-21T21:31:01Z)
• MemSearch-o1: Empowering Large Language Models with Reasoning-Aligned Memory Growth in Agentic Search [59.98962867649009]
  本稿では,メモリ成長とリトラシングに基づくエージェント検索フレームワークであるMemSearch-o1を提案する。 MemSearch-o1はクエリからメモリシードトークンからきめ細かいメモリフラグメントを成長させ、コントリビューション関数を通じてメモリを再トレースし、深く洗練し、最終的にグローバルに接続されたメモリパスを再編成する。
  論文  参考訳（メタデータ） (2026-04-19T05:35:06Z)
• MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
  メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。 マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。 MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
  論文  参考訳（メタデータ） (2026-02-18T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。