論文の概要: Learning to Forget: Sleep-Inspired Memory Consolidation for Resolving Proactive Interference in Large Language Models

• arxiv url: http://arxiv.org/abs/2603.14517v1
• Date: Sun, 15 Mar 2026 17:54:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.863497
• Title: Learning to Forget: Sleep-Inspired Memory Consolidation for Resolving Proactive Interference in Large Language Models
• Title（参考訳）: 忘れる学習:大規模言語モデルにおける前向きな干渉を解決するための睡眠誘発記憶統合
• Authors: Ying Xie,
• Abstract要約: 大規模言語モデル (LLM) はプロアクティブ干渉 (PI) に悩まされ、コンテキストウィンドウの古い情報が現在の値の検索を妨害する。 キー値(KV)キャッシュ上で学習した睡眠サイクルでトランスフォーマーベースのLCMを増強するフレームワークであるSleepGateを提案する。 SleepGateは深さ5で99.5%、深さ10で97.0%、全ベースライン(フルKVキャッシュ、スライディングウインドウ、H2O、StreamingLLM、崩壊専用アブレーション)は18%以下である。
• 参考スコア（独自算出の注目度）: 0.11080037957254413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) suffer from proactive interference (PI): outdated information in the context window disrupts retrieval of current values. This interference degrades retrieval accuracy log-linearly as stale associations accumulate, a bottleneck that persists regardless of context length and resists prompt-engineering mitigations. Biological brains resolve an analogous challenge through sleep-dependent memory consolidation: synaptic downscaling, selective replay, and targeted forgetting. We propose SleepGate, a biologically inspired framework that augments transformer-based LLMs with a learned sleep cycle over the key-value (KV) cache. SleepGate introduces three mechanisms: (1) a conflict-aware temporal tagger detecting when new entries supersede old ones; (2) a lightweight forgetting gate trained to selectively evict or compress stale cache entries; and (3) a consolidation module that merges surviving entries into compact summaries. These components activate periodically during inference in sleep micro-cycles, governed by an adaptive entropy-based trigger. We formalize a dual-phase training objective jointly optimizing language modeling during the wake phase and post-consolidation retrieval during the sleep phase. Theoretical analysis shows SleepGate reduces the interference horizon from O(n) to O(log n). In experiments with a small-scale transformer (4 layers, 793K parameters), SleepGate achieves 99.5% retrieval accuracy at PI depth 5 and 97.0% at depth 10, while all five baselines -- full KV cache, sliding window, H2O, StreamingLLM, and decay-only ablation -- remain below 18%. Our framework offers an architecture-level solution that prompt engineering cannot address.
• Abstract（参考訳）: 大規模言語モデル (LLM) はプロアクティブ干渉 (PI) に悩まされ、コンテキストウィンドウの古い情報が現在の値の検索を妨害する。 この干渉は、スタイルアソシエーションが蓄積するにつれて、検索精度を対数で低下させ、コンテキスト長に関係なく持続し、プロンプトエンジニアリングの緩和に抵抗するボトルネックとなる。 生物学的脳は、睡眠依存記憶の統合によって、シナプスのダウンスケーリング、選択的リプレイ、ターゲットの忘れという類似の課題を解決する。 キーバリュー(KV)キャッシュ上で学習した睡眠サイクルでトランスフォーマーベースのLDMを増強する,生物学的にインスパイアされたフレームワークであるSleepGateを提案する。 スリープゲイトは,(1)新しいエントリが古いエントリに取って代わられたときを検知するコンフリクト対応の時間タグ,(2)古いキャッシュエントリを選択的に削除あるいは圧縮するよう訓練された軽量な忘れゲート,(3)生き残ったエントリをコンパクトなサマリーにマージする統合モジュール,の3つのメカニズムを導入している。 これらの成分は、適応的なエントロピーベースのトリガーによって制御される睡眠マイクロサイクルの推論中に周期的に活性化する。 我々は、覚醒期における言語モデリングと睡眠期における統合後の検索を共同で最適化する二相学習目標を定式化する。 理論的解析により、SleepGate は O(n) から O(log n) への干渉地平面を減少させる。 小型トランス(4層、793Kパラメータ)を用いた実験では、PI深さ5で99.5%、深さ10で97.0%、フルKVキャッシュ、スライディングウインドウ、H2O、StreamingLLM、崩壊専用アブレーションの5つのベースラインが18%以下である。 私たちのフレームワークは、エンジニアリングに対処できないアーキテクチャレベルのソリューションを提供します。

関連論文リスト

• Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval [59.295767860331004]
  RF-Memは、親しみやすい不確実性誘導デュアルパスメモリレトリバーである。 それは、人間のようなデュアルプロセス認識をレトリバーに埋め込む。 一定の予算とレイテンシの制約の下で、ワンショット検索とフルコンテキスト推論を一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-10T06:31:44Z)
• From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
  本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。 MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。 実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
  論文  参考訳（メタデータ） (2026-03-02T05:12:45Z)
• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• SYNAPSE: Empowering LLM Agents with Episodic-Semantic Memory via Spreading Activation [29.545442480332515]
  プリコンパイルされたリンクではなく静的を超越する統一メモリアーキテクチャであるSynapseを紹介する。 この結果から,Synapseは時間的およびマルチホップの複雑な推論タスクにおいて,最先端の手法を著しく上回ることがわかった。 私たちのコードとデータは受け入れ次第公開されます。
  論文  参考訳（メタデータ） (2026-01-06T06:19:58Z)
• SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
  セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。 本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。 ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-01-05T21:02:49Z)
• StableSleep: Source-Free Test-Time Adaptation for Sleep Staging with Lightweight Safety Rails [0.0]
  方法は、モデルに依存しず、ソースデータや患者キャリブレーションを必要とせず、オンデバイスやベッドサイドでの使用に実用的である。 ステージ単位のメトリクスとCohenのkを報告し、秒単位のレイテンシと最小限のメモリの凍結されたベースラインに対して、一貫したゲインを示す。 この方法は、モデルに依存しず、ソースデータや患者キャリブレーションを必要とせず、オンデバイスやベッドサイドでの使用に実用的である。
  論文  参考訳（メタデータ） (2025-09-03T03:42:31Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• L-SeqSleepNet: Whole-cycle Long Sequence Modelling for Automatic Sleep Staging [16.96499618061823]
  L-SeqSleepNetは、睡眠ステージングのためのサイクル全体の睡眠情報を考慮した、新しいディープラーニングモデルである。 L-SeqSleepNetは、N2睡眠の優位性を緩和し、他の睡眠段階におけるエラーを減少させることができる。
  論文  参考訳（メタデータ） (2023-01-09T15:44:43Z)
• A Closed-loop Sleep Modulation System with FPGA-Accelerated Deep Learning [1.5569382274788235]
  我々は,低消費電力フィールドプログラマブルゲートアレイ(FPGA)デバイス上でのクローズドループ操作をサポートする睡眠変調システムを開発した。 ディープラーニング(DL)モデルは、低消費電力のフィールドプログラマブルゲートアレイ(FPGA)デバイスによって加速される。 81名の被験者を含む公衆睡眠データベースを用いて、85.8%の最先端の分類精度とF1スコアの79%の精度でモデルが検証されている。
  論文  参考訳（メタデータ） (2022-11-19T01:47:53Z)
• Neural Network Based Sleep Phases Classification for Resource Constraint Environments [0.0]
  クラウドやモバイル接続を必要とせずに,組込み環境でも動作可能な,メモリ効率の良い睡眠トラッキングアーキテクチャを提案する。 本研究では,特徴抽出と人工ニューラルネットワークに基づくスタックリングを組み合わせた新しいアーキテクチャを提案する。 収集されたデータセットを通じて、提案された分類アーキテクチャは、競合他社よりも20%、F1スコアが14%向上した。
  論文  参考訳（メタデータ） (2021-05-25T11:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。