論文の概要: AfterDeleteBench: Auditing Post-Deletion Information Persistence in LLM Agents
- arxiv url: http://arxiv.org/abs/2610.31366v1
- Date: Thu, 22 Oct 2026 14:41:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.412192
- Title: AfterDeleteBench: Auditing Post-Deletion Information Persistence in LLM Agents
- Title(参考訳): AfterDeleteBench: LLMエージェントにおける削除後の情報永続化の監査
- Abstract要約: 本稿では,固定重LLMエージェントの動作監査であるAfterDeleteBenchを紹介する。
各合成シークレットについて、露光したThenを除去したエージェントと、そのシークレットに決して露出しなかったマッチしたエージェントを比較した。
単一のクエリがQwen2.5-7B-Instructから削除されたシークレットを約3分の2のケースで復元する。
- 参考スコア(独自算出の注目度): 19.761387140751463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many LLM agents maintain external persistent memory and derive additional state from past interactions, such as summaries. Deleting an original memory record therefore need not remove information carried by its descendants. We introduce AfterDeleteBench, a controlled behavioral audit for this failure mode in fixed-weight LLM agents. For each synthetic secret, we compare an exposed-then-deleted agent with an otherwise matched agent that was never exposed to the secret, allowing post-deletion recovery to be attributed to the original exposure. In our primary setting, a single query recovers the deleted secret from Qwen2.5-7B-Instruct in roughly two thirds of cases, while matched never-exposed controls have zero recovery. Crucially, recovery does not require a surviving verbatim copy: when the complete secret string is absent and only separately stored components remain under a public composition rule, exact reconstruction succeeds in 62-99% of cases across Qwen, Mistral, and Phi-3. We also show that the response interface is part of the measurement system: target-bearing replies can be scored as failures when the requested format and parser are misaligned. Finally, we separate reconstruction from write-back and fresh-session recall. Provenance-aware closure eliminates observed recovery in the tested positive-baseline settings, whereas an exact-literal write filter blocks reinsertion but cannot erase information already present. Together, these results show that source deletion should be evaluated behaviorally at the level of the agent and its memory system, not only as a storage operation.
- Abstract(参考訳): 多くのLDMエージェントは外部の永続メモリを保持し、要約のような過去の相互作用から追加の状態を導出する。
そのため、元のメモリレコードを削除することは、その子孫が持っていた情報を削除する必要はない。
本稿では,固定重LLMエージェントにおけるこの障害モードに対する制御された動作監査であるAfterDeleteBenchを紹介する。
各合成シークレットについて, 露出除去剤とそれと一致しないエージェントを比較し, 除去後の回復を元の露光によるものとみなすことができた。
一次設定では、1つのクエリがQwen2.5-7B-Instructから削除されたシークレットを約3分の2のケースで復元します。
重要なことに、リカバリは継続する動詞のコピーを必要としない:完全な秘密文字列が欠落し、個別に格納されたコンポーネントのみが公開構成規則の下で残っている場合、正確な復元はQwen、Mistral、Phi-3の62-99%のケースで成功する。
また、応答インタフェースは測定システムの一部であり、要求されたフォーマットとパーサが一致していない場合、ターゲットを持つ応答は失敗として評価できることを示す。
最後に、リコンストラクションをライトバックとフレッシュセッションリコールから切り離します。
Provenance-awareクロージャは、テスト済みの正のベースライン設定で観測されたリカバリを排除しますが、正確なリテラル書き込みフィルタは再サーションをブロックしますが、すでに存在する情報を消去することはできません。
これらの結果から, ソース削除は, 記憶操作だけでなく, エージェントとそのメモリシステムレベルにおいて, 行動的に評価されるべきであることが示唆された。
関連論文リスト
- MemCut: Every Secret Leaves a Trail in the Long-Term Memory of LLM Agents [17.29167249577443]
MemCutは,ユーザの要求する忘れのシステマティックなベンチマークである。
ロングホライゾンの会話における456件の手書きの秘密は、完全に証拠の痕跡を記している。
固定予算でプールを拡大することは、元の候補をすべて削除するよりも、残余の回復を減少させることを示す。
論文 参考訳(メタデータ) (2026-10-15T07:23:03Z) - LAM: Efficient Lossy Agent Memory Framework With A Retrieval-Score Error Bound [15.472624227186941]
3つのコンポーネントからなるLossy Agent Memoryシステムを提案する。
LAMは観測トークンの22.47%を除去し、測定されたゴールドパッチの証拠の99.984%を保持した。
論文 参考訳(メタデータ) (2026-09-26T05:26:28Z) - Rollback the World, Keep the Reflection: Rollback-Induced Reflection for Long-Horizon LLM Agents [56.434418859203085]
大規模言語モデル(LLM)エージェントは、多段階の環境相互作用を通じて、長い水平タスクに対処する。
単一の誤動作は、その後の状態や観測を変更でき、時間とともにエラーが複雑になる。
信頼性回復はロールバック境界制御問題として扱われるべきである。
論文 参考訳(メタデータ) (2026-09-16T08:26:14Z) - Forgetting Without Restarting: Execution-State Unlearning for Stateful LLM Agents [12.985773309621964]
Provenance-Guided Selective Replayは、プロンプト、圧縮メモリ、キャッシュにまたがるクロスレイヤコントラクトとしてバインドされる。
我々は,3つのエージェントスイート,9つのベースライン,3つのモデルファミリに対して,エレケーション,キャッシュ,文字列フリーな動作テストで監査を行った。
論文 参考訳(メタデータ) (2026-09-04T08:31:40Z) - Hindsight Memory-PRM: Supervising Memory Management with Auditable Hindsight Credit [48.811961095386]
Hindsight Memory-PRMはこの監査パスを2回利用します。
オフラインで操作条件付きメモリユーティリティの批判をトレーニングする。
オンラインでは、検索、引用、および1つの制御された削除と再回答が、介入校正されたエントリーレベルのプレゼンスクレジットを確定する。
論文 参考訳(メタデータ) (2026-08-30T06:53:13Z) - Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。
本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
論文 参考訳(メタデータ) (2026-08-24T13:56:01Z) - MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。
MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。
長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文 参考訳(メタデータ) (2026-07-14T15:33:44Z) - Auditing Forgetting in Limited Memory Language Models [0.0]
既存の評価は、集合体の削除後の正しさを測定する。
本稿では,モデルが固定され,推論時にデータベースの状態が変化する因果監査フレームワークを提案する。
これを13のデータベースで12,228のエイリアス削除に適用する。
論文 参考訳(メタデータ) (2026-07-01T08:30:28Z) - MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。
我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。
私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
論文 参考訳(メタデータ) (2026-06-23T13:52:46Z) - Deployment-Time Memorization in Foundation-Model Agents [18.40535884093806]
個人化リコール(PR)と適応抽出レート(AER)によるプライバシユーティリティフロンティアとしてのエージェントメモリの検討
キーファクト要約は、ほとんどすべてのパーソナライズリコールを維持しながら、Gemma 3 12Bで76%、GPT-4o-miniで64%のカナリア抽出を減少させる。
LongMemEvalでは、キーファクトの要約はGemma 3 12Bで76%、GPT-4o-miniで64%のカナリア抽出を減らし、ほぼすべてのパーソナライズリコールを保存する。
論文 参考訳(メタデータ) (2026-06-08T18:38:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。