論文の概要: Stateless Yet Not Forgetful: Implicit Memory as a Hidden Channel in LLMs
- arxiv url: http://arxiv.org/abs/2602.08563v1
- Date: Mon, 09 Feb 2026 12:01:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:25.210721
- Title: Stateless Yet Not Forgetful: Implicit Memory as a Hidden Channel in LLMs
- Title(参考訳): ステートレスだが忘れられていない: LLMの隠れチャネルとしての暗黙の記憶
- Authors: Ahmed Salem, Andrew Paverd, Sahar Abdelnabi,
- Abstract要約: 暗黙の記憶を導入し、モデルが他の独立した相互作用をまたいで状態を運ぶ能力を導入します。
デモとして、時間爆弾と呼ばれる新しい時間的バックドアを紹介します。
我々は,隠蔽型エージェント間通信,ベンチマーク汚染,ターゲット操作,トレーニングデータ中毒など,暗黙記憶の幅広い意味を分析した。
- 参考スコア(独自算出の注目度): 13.390425803544785
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) are commonly treated as stateless: once an interaction ends, no information is assumed to persist unless it is explicitly stored and re-supplied. We challenge this assumption by introducing implicit memory-the ability of a model to carry state across otherwise independent interactions by encoding information in its own outputs and later recovering it when those outputs are reintroduced as input. This mechanism does not require any explicit memory module, yet it creates a persistent information channel across inference requests. As a concrete demonstration, we introduce a new class of temporal backdoors, which we call time bombs. Unlike conventional backdoors that activate on a single trigger input, time bombs activate only after a sequence of interactions satisfies hidden conditions accumulated via implicit memory. We show that such behavior can be induced today through straightforward prompting or fine-tuning. Beyond this case study, we analyze broader implications of implicit memory, including covert inter-agent communication, benchmark contamination, targeted manipulation, and training-data poisoning. Finally, we discuss detection challenges and outline directions for stress-testing and evaluation, with the goal of anticipating and controlling future developments. To promote future research, we release code and data at: https://github.com/microsoft/implicitMemory.
- Abstract(参考訳): 大規模言語モデル(LLM)は一般にステートレスとして扱われる: インタラクションが終了すると、明示的に保存され、再供給されない限り、情報は永続化されないと仮定される。
この仮定は、暗黙の記憶によって、他の独立した相互作用をまたいで状態を伝達する能力を導入し、その出力が入力として再導入されたときにその情報をエンコードし、それを回復させることによって、この仮定に挑戦する。
このメカニズムは明示的なメモリモジュールを必要としないが、推論要求にまたがる永続的な情報チャネルを生成する。
具体的な実演として、時間爆弾と呼ばれる新しい時間的バックドアを紹介します。
単一のトリガー入力で起動する従来のバックドアとは異なり、時間爆弾は暗黙の記憶によって蓄積された隠された条件を満たす一連の相互作用の後にのみ起動する。
このような行動は, 直接的即興や微調整によって, 今日でも引き起こせることを示す。
このケーススタディの他に、隠れたエージェント間通信、ベンチマーク汚染、ターゲット操作、トレーニングデータ中毒など、暗黙記憶の幅広い意味を分析する。
最後に、今後の発展を予測・制御することを目的として、ストレステストと評価のための検出課題と方向性について論じる。
将来の研究を促進するため、コードとデータをhttps://github.com/microsoft/implicitMemory.comでリリースします。
関連論文リスト
- The Trigger in the Haystack: Extracting and Reconstructing LLM Backdoor Triggers [2.2374050209578864]
本稿では、因果言語モデルにおける睡眠エージェントスタイルのバックドアを特定するための実用的なスキャナを提案する。
まず、睡眠薬は中毒データを記憶する傾向があるため、バックドアのサンプルを漏らすことが可能です。
提案手法は,複数のバックドアシナリオと広範囲のモデルにまたがる動作トリガを復元することを示す。
論文 参考訳(メタデータ) (2026-02-03T04:17:21Z) - Pre-Storage Reasoning for Episodic Memory: Shifting Inference Burden to Memory for Personalized Dialogue [13.558061425427688]
PreMemは、複雑な推論プロセスを推論からメモリ構築に移行する新しいアプローチである。
これは、相互作用中の計算要求を減らしながら、リッチな表現を生成する。
実験では、すべてのモデルサイズで大幅にパフォーマンスが向上した。
論文 参考訳(メタデータ) (2025-09-13T15:18:08Z) - Unable to Forget: Proactive Interference Reveals Working Memory Limits in LLMs Beyond Context Length [0.0]
人間では、そのような干渉に対する感受性は、作業記憶能力と逆の関連がある。
PI-LLMは意味論的に関連するキー-値の更新とクエリを逐次的にストリームする評価手法である。
論文 参考訳(メタデータ) (2025-06-09T19:49:11Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳(メタデータ) (2025-05-23T08:13:59Z) - Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions [55.19217798774033]
メモリは、大規模言語モデル(LLM)ベースのエージェントを支える、AIシステムの基本コンポーネントである。
本稿ではまず,メモリ表現をパラメトリックおよびコンテキスト形式に分類する。
次に、コンソリデーション、更新、インデックス付け、フォッティング、検索、圧縮の6つの基本的なメモリ操作を紹介します。
論文 参考訳(メタデータ) (2025-05-01T17:31:33Z) - Beyond Memorization: The Challenge of Random Memory Access in Language Models [56.525691003233554]
生成言語モデル(LM)がそのメモリに逐次的またはランダムにアクセスできるかどうかを検討する。
本手法により, LMのランダムメモリアクセス性能が向上することがわかった。
論文 参考訳(メタデータ) (2024-03-12T16:42:44Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳(メタデータ) (2022-04-15T06:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。