論文の概要: Modular Memory is the Key to Continual Learning Agents
- arxiv url: http://arxiv.org/abs/2603.01761v1
- Date: Mon, 02 Mar 2026 11:40:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.845544
- Title: Modular Memory is the Key to Continual Learning Agents
- Title（参考訳）: 連続学習エージェントの鍵となるモジュールメモリ
- Authors: Vaggelis Dorovatas, Malte Schwerin, Andrew D. Bagdanov, Lucas Caccia, Antonio Carta, Laurent Charlin, Barbara Hammer, Tyler L. Hayes, Timm Hess, Christopher Kanan, Dhireesha Kudithipudi, Xialei Liu, Vincenzo Lomonaco, Jorge Mendez-Mendez, Darshan Patil, Ameya Prabhu, Elisa Ricci, Tinne Tuytelaars, Gido M. van de Ven, Liyuan Wang, Joost van de Weijer, Jonghyun Choi, Martin Mundt, Rahaf Aljundi,
- Abstract要約: In-Weight Learning(IWL)の強みと、モジュラーメモリの設計を通じて新たに登場したIn-Context Learning(ICL)の機能を組み合わせることが、大規模に継続的適応するための欠片である、と我々は主張する。
我々は、ICLを高速適応と知識蓄積に活用するモジュール型メモリ中心アーキテクチャの概念的フレームワークと、モデル機能の安定した更新のためのIWLについて概説する。
- 参考スコア（独自算出の注目度）: 100.09688599754465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models have transformed machine learning through large-scale pretraining and increased test-time compute. Despite surpassing human performance in several domains, these models remain fundamentally limited in continuous operation, experience accumulation, and personalization, capabilities that are central to adaptive intelligence. While continual learning research has long targeted these goals, its historical focus on in-weight learning (IWL), i.e., updating a single model's parameters to absorb new knowledge, has rendered catastrophic forgetting a persistent challenge. Our position is that combining the strengths of In-Weight Learning (IWL) and the newly emerged capabilities of In-Context Learning (ICL) through the design of modular memory is the missing piece for continual adaptation at scale. We outline a conceptual framework for modular memory-centric architectures that leverage ICL for rapid adaptation and knowledge accumulation, and IWL for stable updates to model capabilities, charting a practical roadmap toward continually learning agents.
- Abstract（参考訳）: ファンデーションモデルは、大規模な事前トレーニングとテスト時間計算の強化を通じて機械学習を変革した。
いくつかの領域で人的パフォーマンスを上回っているにもかかわらず、これらのモデルは基本的には継続的な操作、経験蓄積、パーソナライゼーション(適応知能の中心となる能力)に限られている。
継続的な学習研究は、長い間これらの目標を目標としてきたが、その歴史的焦点は、一モデルのパラメータを新しい知識を吸収するために更新することであり、絶え間ない挑戦を忘れてしまった。
我々の立場は、IWL(In-Weight Learning)の強みと、モジュラーメモリの設計を通じて新たに登場したICL(In-Context Learning)の能力を組み合わせることが、大規模化における継続的な適応の欠如であるということである。
我々は、ICLを高速適応と知識蓄積に活用するモジュール型メモリ中心アーキテクチャの概念的フレームワークと、モデル能力の安定アップデートのためのIWLを概説し、継続的な学習エージェントに向けた実用的なロードマップを図示する。
関連論文リスト
- SALAAD: Sparse And Low-Rank Adaptation via ADMM for Large Language Model Inference [38.037874715181964]
トレーニング中にスパース構造と低ランク構造を誘導するプラグイン・アンド・プレイ・フレームワークであるSALAADを提案する。
モデルスケールでの実験では、SALAADはデプロイメント中のメモリ消費を大幅に削減する。
単一のトレーニングを実行すると、モデル能力の連続的なスペクトルが得られ、多様なメモリ予算をまたいだスムーズで弾力的なデプロイメントが可能になる。
論文 参考訳（メタデータ） (2026-02-01T00:00:11Z) - Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。
我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。
アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
論文 参考訳（メタデータ） (2025-10-14T03:03:08Z) - Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。
これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。
我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
論文 参考訳（メタデータ） (2025-06-16T02:27:25Z) - Partitioned Memory Storage Inspired Few-Shot Class-Incremental learning [2.9845592719739127]
FSCIL(Few-Shot Class-Incremental Learning)は、古い知識を忘れずに限られたサンプルを持つ新しいカテゴリの継続的な学習に焦点を当てている。
本稿では,各セッションの独立モデルを学習する手法を開発し,破滅的な忘れを本質的に防止する。
提案手法は, CIFAR-100 および mini-ImageNet データセット上での最先端性能を示すとともに, FSCIL の新たな視点を提供する。
論文 参考訳（メタデータ） (2025-04-29T14:11:06Z) - CalFuse: Multi-Modal Continual Learning via Feature Calibration and Parameter Fusion [17.68751409041168]
クラス・コンチネンタル・ラーニング(CCL)は、歴史データを再考することなく、新たなクラス知識を段階的に取り入れることで、この課題に対処する。
CLIPのようなビジョンランゲージモデル(VLM)の最近の進歩は、事前訓練されたマルチモーダル知識を活用することで、CCLにとって重要な可能性を示している。
本稿では,マルチモーダルな知識統合を実現するために,特徴パラメータFusionを相乗化するフレームワークであるCalFuseを提案する。
論文 参考訳（メタデータ） (2025-03-24T13:44:12Z) - Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - Temporal-Difference Variational Continual Learning [77.92320830700797]
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Learn it or Leave it: Module Composition and Pruning for Continual Learning [48.07144492109635]
MoCL-Pは知識統合と計算オーバーヘッドのバランスをとる軽量な連続学習手法である。
評価の結果,MoCL-Pは最先端性能を実現し,パラメータ効率を最大3倍向上することがわかった。
論文 参考訳（メタデータ） (2024-06-26T19:18:28Z) - Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。
提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。
視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文 参考訳（メタデータ） (2024-03-18T08:00:23Z) - Learning an evolved mixture model for task-free continual learning [11.540150938141034]
タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。
メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
論文 参考訳（メタデータ） (2022-07-11T16:01:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。