論文の概要: Neural Subspace Reallocation: Continual Learning as Retrieval-Based Subspace Memory Management

• arxiv url: http://arxiv.org/abs/2606.30067v1
• Date: Mon, 29 Jun 2026 10:00:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.173253
• Title: Neural Subspace Reallocation: Continual Learning as Retrieval-Based Subspace Memory Management
• Title（参考訳）: ニューラルサブスペース再配置:検索型サブスペースメモリ管理としての連続学習
• Abstract要約: パラメータ部分空間上のメモリ管理として連続的な学習を再構成するニューラル部分空間再配置(NSR)を導入する。 NSRはLow-Rank Adaptation (LoRA)モジュールを冷凍バックボーン上で圧縮可能で取り出し可能なメモリユニットとして管理する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Neural Subspace Reallocation (NSR), which reframes continual learning as memory management over parameter subspaces. Instead of treating Low-Rank Adaptation (LoRA) modules as disposable per-task adapters, NSR manages them as compressible, retrievable memory units on a frozen backbone through a recurring cycle: (1) compress learned LoRAs via SVD, (2) reserve them in a TaskKnowledgeBank, (3) recall related past LoRAs by embedding similarity to warm-start new or returning tasks, and (4) reallocate the active subspace accordingly, with distillation protecting prior tasks. We prove that in cyclic environments any memoryless allocation policy incurs cumulative regret Omega(T(M-1)Delta_switch) relative to a history-aware policy backed by the Bank (Theorem 1). Empirically, on Split-CIFAR-100 the Bank reduces cyclic recovery time by 10x, exactly as predicted, and on the heterogeneous 5-Datasets benchmark NSR achieves the highest accuracy and the least forgetting, about 9x closer to zero backward transfer than the memoryless heuristics. Crucially, we run a controlled study that isolates which component matters: holding the Bank fixed and varying only the allocation rule, we find that a simple similarity-based retrieval rule matches or beats a learned reinforcement-learning controller (recovering recurring tasks in 0 vs 1.8 steps and reaching equal accuracy). Our central, honest finding is therefore that the memory mechanism -- compression and similarity retrieval -- rather than a learned allocation policy, drives continual-learning performance under fixed capacity. A memory-budget analysis confirms the compressed Bank stays small -- 0.29 MB of parameter memory per task -- so a top-K retention cap bounds the total footprint while preserving fast recovery for retained tasks.
• Abstract（参考訳）: パラメータ部分空間上のメモリ管理として連続的な学習を再構成するニューラル部分空間再配置(NSR)を導入する。 ローランク適応 (LoRA) モジュールをタスク毎のアダプタとして扱う代わりに、NSRは、繰り返しサイクルを通じて、凍結したバックボーン上の圧縮可能で回収可能なメモリユニットとして管理する。(1) 学習したLoRAをSVD経由で圧縮し、(2) TaskKnowledgeBankで保存し、(3) ウォームスタートした新しいタスクやリターンタスクに類似性を埋め込むことにより、LoRAを過去のLoRAにリコールし、(4) 以前のタスクを保護し、アクティブなサブスペースを再配置する。 我々は, 循環環境において, メモリレスアロケーション政策が, 銀行が支持する履歴対応政策に対して, 累積的後悔のOmega(T(M-1)Delta_switch)を発生させることを証明した(理論1)。 Split-CIFAR-100では、バンクは正確に予測されたように循環回復時間を10倍に削減し、不均一な5-データセットベンチマークNSRでは、メモリレスヒューリスティックよりも約9倍近く、最も正確かつ最も忘れられない。 重要なことは、銀行を固定し、割り当てルールのみを変更させることで、単純な類似性に基づく検索ルールが学習した強化学習コントローラ(0対1.8ステップで繰り返しタスクを回復し、同じ精度に達する)と一致または打ち勝つことを発見した。 私たちの中心的な正直な発見は、学習されたアロケーションポリシではなく、メモリメカニズム、圧縮と類似性検索が、一定のキャパシティの下で連続的な学習パフォーマンスを駆動していることです。 メモリ予算分析により、圧縮されたバンクは、タスク毎のパラメータメモリが0.29MB小さいままであることが確認され、トップK保持キャップは、保持されたタスクの高速回復を保ちながら、全体のフットプリントを束縛する。

関連論文リスト

• Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents [97.19033877543522]
  本稿では,メモリ拡張剤のメモリ基板の制御ハーネス評価について述べる。 統一されたハーネスの下で26のパフォーマンスと効率のメトリクスを計測する。 これらの知見は、アダプティブエージェントメモリシステムに必要なコンポーネントとして、基質ルーティングを動機付けている。
  論文  参考訳（メタデータ） (2026-08-15T03:29:48Z)
• CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents [12.963751758893594]
  本稿では,検索ポリシとメモリバンクを併用するクローズドループフレームワークを提案する。 textbfCoEvo-Memは7つのベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-08-03T06:04:51Z)
• UniMem: Complementary Episodic-to-Parametric Memory for Boundary-Agnostic Task Streams [77.52140119830241]
  自律型メモリ管理のためのセルフルーティングフレームワークUniMemを提案する。 UniMemは学習可能なルーティングトークンをメモリコントローラとして使用し、相補的なメモリ経路間の適応的な調整を可能にする。 長距離ストリーミングタスクシーケンスの実験では、UniMemは実行の忠実さを維持しながらベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-28T17:28:21Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• Multi-Head Recurrent Memory Agents [6.282017902182834]
  マルチヘッドリカレントメモリは、ステージワイド選択更新戦略によって管理される独立したヘッドにメモリを分割する。 軽量なインスタンス化としてLHM-LRU(Least-Recently-Updated MHM)を導入する。
  論文  参考訳（メタデータ） (2026-07-01T22:38:54Z)
• Scaling Short-Term Memory of Visuomotor Policies for Long-Horizon Tasks [69.19366746169906]
  本稿では,短期記憶を利用するビジュモータポリシーのためのトランスフォーマーベースのアーキテクチャであるPRISMを提案する。 海賊フィルタは情報を取得し、関連する詳細を抑え、性能を向上する。 階層アーキテクチャは、ローカル情報をコンパクトなトークンに圧縮し、計算とメモリフットプリントを改善する。
  論文  参考訳（メタデータ） (2026-06-15T03:49:23Z)
• $μ$VLA: On Recurrent Memory for Partially Observable Manipulation in VLA Models [44.66763491853812]
  本研究は,VLA背骨の再発の制御的分離について検討した。 我々の定式化は、タイムステップにまたがる学習可能なメモリトークンの小さなセットでトランスフォーマーを強化します。 我々はこれらの結果を,背骨内再発の最小限のエンベロープの校正と解釈する。
  論文  参考訳（メタデータ） (2026-06-10T13:26:40Z)
• Deployment-Time Memorization in Foundation-Model Agents [18.40535884093806]
  個人化リコール(PR)と適応抽出レート(AER)によるプライバシユーティリティフロンティアとしてのエージェントメモリの検討 キーファクト要約は、ほとんどすべてのパーソナライズリコールを維持しながら、Gemma 3 12Bで76%、GPT-4o-miniで64%のカナリア抽出を減少させる。 LongMemEvalでは、キーファクトの要約はGemma 3 12Bで76%、GPT-4o-miniで64%のカナリア抽出を減らし、ほぼすべてのパーソナライズリコールを保存する。
  論文  参考訳（メタデータ） (2026-06-08T18:38:41Z)
• Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents [51.30250860677378]
  本稿では,連想記憶グラフとアクティブな再構成機構を組み合わせたフレームワークであるMRAgentを提案する。 Cue-Tag-Contentグラフ上で実行することで,メモリアクセスに直接推論を統合する。 LoCoMoベンチマークとLongMemEvalベンチマークの実験は、強いベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-06-04T11:29:46Z)
• RecMem: Recurrence-based Memory Consolidation for Efficient and Effective Long-Running LLM Agents [16.625864201773343]
  RecMemは、受信するインタラクションをサブ意識のメモリ層に格納し、軽量な埋め込みモデルを使用してエンコードする。 実験により、RecMemは3つのSOTAメモリシステムのメモリ構築トークンコストを最大87%削減し、精度を上回ります。
  論文  参考訳（メタデータ） (2026-05-15T15:17:36Z)
• EvolveMem:Self-Evolving Memory Architecture via AutoResearch for LLM Agents [80.59925936278162]
  本稿では,自己進化型メモリアーキテクチャであるEvolveMemについて述べる。 このクローズループの自己進化はAutoResearchプロセスを実現している。システムは自力で独自のアーキテクチャ上で反復的な研究サイクルを実行し、手動構成のチューニングを置き換える。
  論文  参考訳（メタデータ） (2026-05-13T17:12:44Z)
• MemMA: Coordinating the Memory Cycle through Multi-Agent Reasoning and In-Situ Self-Evolution [52.29303869050117]
  メモリ拡張LDMエージェントは、長期の相互作用をサポートするために外部メモリバンクを保持する。 MemMAはプラグアンドプレイのマルチエージェントフレームワークで、前方と後方の両方の経路に沿ってメモリサイクルを調整する。
  論文  参考訳（メタデータ） (2026-03-19T10:15:59Z)
• Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval [59.295767860331004]
  RF-Memは、親しみやすい不確実性誘導デュアルパスメモリレトリバーである。 それは、人間のようなデュアルプロセス認識をレトリバーに埋め込む。 一定の予算とレイテンシの制約の下で、ワンショット検索とフルコンテキスト推論を一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-10T06:31:44Z)
• Mem-T: Densifying Rewards for Long-Horizon Memory Agents [23.19373149519922]
  我々は,動的更新やストリーミング入力によるマルチターン検索を行うために,軽量な階層型メモリデータベースと対話する自律メモリエージェントMem-Tを紹介する。 また,木誘導型強化学習フレームワークであるMoT-GRPOを提案する。
  論文  参考訳（メタデータ） (2026-01-30T14:23:33Z)
• RMM: Reinforced Memory Management for Class-Incremental Learning [102.20140790771265]
  クラスインクリメンタルラーニング(CIL)は、厳格な記憶予算の下で分類器を訓練する。 既存のメソッドは静的およびアドホックな戦略を使ってメモリ割り当てを行うが、これはしばしば準最適である。 本稿では,段階的な段階と異なるオブジェクトクラスに最適化された動的メモリ管理戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-14T00:07:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。