論文の概要: Eternal Sunshine of the Spotless Mind: Systematically Erasing LLM's Memories
- arxiv url: http://arxiv.org/abs/2609.36414v1
- Date: Tue, 29 Sep 2026 00:11:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.076238
- Title: Eternal Sunshine of the Spotless Mind: Systematically Erasing LLM's Memories
- Title(参考訳): 絶え間ない心の永遠の太陽--LLMの記憶を体系的に消し去る
- Abstract要約: ユーザとのインタラクションの記憶を蓄積する永続的LLMについて,時間とともに検討する。
LLMはユーザの要求に応じて共有された情報を忘れられるかどうかを問う。
会話が自然にメッセージ依存性を導入して情報を持続させるので、ユーザの削除要求にマッチするメッセージを鼻で取り除くことは不十分である。
削除要求を正しく処理するためのDeLLMフレームワークを提案する。
- 参考スコア(独自算出の注目度): 7.11544738817699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider persistent LLMs that accumulate memories of their interactions with a user over time. Such LLMs maintain memories using external storage, which they can query to overcome the limitations of a fixed context window. Such systems have numerous practical applications, as they can draw on all past interactions when responding to user queries. In this paper, we ask whether LLMs can forget information shared with them upon a user's request. We find that current LLMs fail to delete such information---even when they claim to have forgotten it and even when operating with a limited context. To this end, we consider a new direction of study: Deletion of LLM Memories. We show that naively removing messages that match a user's deletion request is insufficient, since conversations naturally introduce message dependencies that cause information to persist. To correctly handle deletion requests, we propose the DeLLM framework. It dynamically constructs relevant context for each LLM query and maintains a provenance graph of messages to determine which ones must be removed during deletion. Our experiments show that DeLLM achieves a high deletion rate while maintaining utility.
- Abstract(参考訳): ユーザとのインタラクションの記憶を蓄積する永続的LLMについて,時間とともに検討する。
このようなLCMは外部ストレージを使用してメモリを保持し、固定されたコンテキストウィンドウの制限を克服するためにクエリを行うことができる。
このようなシステムは、ユーザクエリに応答する時に、過去のすべてのインタラクションを描画できるため、多くの実用的な応用がある。
本稿では,LLMがユーザの要求に応じて共有される情報を忘れられるかどうかを問う。
現在のLLMでは,そのような情報を削除できないことが分かりました - 忘れたと主張する場合や,限られたコンテキストで操作する場合であっても。
この目的のために,LLM記憶の削除という新たな研究の方向性を検討する。
会話が自然にメッセージ依存性を導入して情報を持続させるので、ユーザの削除要求にマッチするメッセージを鼻で取り除くことは不十分である。
削除要求を正確に処理するために,DeLLMフレームワークを提案する。
LLMクエリごとに関連するコンテキストを動的に構築し、削除時に削除しなければならないメッセージのプロファイランスグラフを保持する。
実験の結果,DeLLMは実用性を維持しながら高い削除率を達成することがわかった。
関連論文リスト
- Zero-Mem: Zero-Token Memory Operations for LLM Agents [17.228305588778]
Zero-Memは、元の相互作用トレースをレコードのソースとして保存する。
Zero-Memは、長期メモリと長期コンテキストの問合せベンチマークで競合するパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-07-31T13:01:06Z) - Retrieval Augmented Question Answering: When Should LLMs Admit Ignorance? [13.893751277489294]
長いコンテキストは、モデルの生成プロセスを妨げ、その性能を低下させる、より無関係な情報をもたらす。
我々は,検索した情報を小さなチャンクに分割し,LCMに質問への回答を促す適応的プロンプト戦略を設計する。
3つのオープンドメイン質問応答データセットの実験結果は、適応戦略が標準プロンプトの性能と一致することを示す。
論文 参考訳(メタデータ) (2025-12-29T19:59:10Z) - MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。
実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
論文 参考訳(メタデータ) (2024-04-17T18:13:16Z) - UNDIAL: Self-Distillation with Adjusted Logits for Robust Unlearning in Large Language Models [12.45822383965784]
本稿では,UnDIAL(Unlearning via Self-Distillation on Adjusted Logits)を紹介する。
本手法では, 自己蒸留を利用してロジットを調整し, ターゲットトークンの影響を選択的に低減する。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning [67.39585115936329]
LLMには、微調整なしで長いコンテキストを処理できる固有の能力がある、と我々は主張する。
バイレベルアテンション情報を構築することで,LLMのコンテキストウィンドウを拡張するためのSelfExtendを提案する。
複数のベンチマークで包括的な実験を行い、その結果、既存のLLMのコンテキストウィンドウ長を効果的に拡張できることが示されている。
論文 参考訳(メタデータ) (2024-01-02T18:30:51Z) - Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。
本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
論文 参考訳(メタデータ) (2023-09-15T07:22:56Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。