論文の概要: Dynamic Mixture of Latent Memories for Self-Evolving Agents

• arxiv url: http://arxiv.org/abs/2605.21951v1
• Date: Thu, 21 May 2026 03:35:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.074029
• Title: Dynamic Mixture of Latent Memories for Self-Evolving Agents
• Title（参考訳）: 自己進化剤における潜時記憶の動的混合
• Authors: Dianzhi Yu, Vireo Zhang, Hongru Wang, Yanyu Chen, Minda Hu, Wanghan Xu, Siki Chen, Philip Torr, Zhenfei Yin, Irwin King,
• Abstract要約: MoLEMは、動的混合(MoE)に基づく潜在メモリフレームワークの生成混合物である。 我々は、数学、科学、コードドメインにまたがる連続的な学習シーケンスに基づいて、このフレームワークを訓練する。 連続学習を完了した後、Vanilla事前学習ベースラインよりも平均精度を10.40%向上させる。
• 参考スコア（独自算出の注目度）: 57.20419419302731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving self-evolution in intelligent agents requires the continual accumulation of new knowledge across changing task sequences without forgetting previously acquired abilities. Existing approaches either internalize knowledge by updating model parameters, which induces catastrophic forgetting, or rely on external memory, which fails to genuinely enhance the model's intrinsic capabilities. We propose MoLEM, a generative mixture of latent memory framework based on a dynamic mixture-of-experts (MoE). We treat multiple experts as independent carriers to generate memory. A router selects and weights experts through key-query matching, and the aggregated latent memory is injected into the reasoning process. The base model for reasoning remains entirely frozen, with all experiential knowledge internalized into the additional modules, avoiding catastrophic forgetting. For continual learning, each training stage is paired with a lightweight autoencoder that selects the appropriate routing group at inference, and inputs that match no stage fall back to the pretrained model. Experiments train the framework on continual-learning sequences spanning math, science, and code domains. After training, we evaluate the framework on the corresponding test sets to measure task learning and competence preservation across continual adaptation stages. After the full continual-learning sequence, our method improves the average accuracy by 10.40% over the Vanilla pretrained baseline, while none of the competing methods consistently exceed this baseline across different training orders.
• Abstract（参考訳）: 知的エージェントにおける自己進化を実現するには、以前獲得した能力を忘れずにタスクシーケンスを変更することで、新たな知識を継続的に蓄積する必要がある。 既存のアプローチでは、破滅的な忘れを誘発するモデルパラメータを更新することで知識を内部化するか、あるいは外部メモリに依存するかのいずれかで、モデルの本質的な能力を真に強化することができない。 動的混合(MoE)に基づく潜在メモリフレームワークであるMoLEMを提案する。 複数の専門家を独立キャリアとして扱い、メモリを生成します。 ルータは、キークエリマッチングを通じて専門家を選択して重み付けし、集約された潜在メモリを推論プロセスに注入する。 推論のベースモデルは完全に凍結され、全ての経験的な知識が追加モジュールに内部化され、破滅的な忘れ物を避ける。 連続学習では、各トレーニングステージは、推論時に適切なルーティンググループを選択する軽量なオートエンコーダとペアリングされ、事前訓練されたモデルに一致しない入力が返される。 実験では、数学、科学、コードドメインにまたがる連続的な学習シーケンスのフレームワークを訓練する。 学習後,課題学習と能力保存を連続的な適応段階にわたって測定するために,対応するテストセットの枠組みを評価した。 連続学習シーケンスの完全な後、Vanilla事前学習ベースラインよりも平均精度が10.40%向上する一方、競合する手法はこのベースラインを異なるトレーニングオーダーで一貫して上回ることはない。

関連論文リスト

• Modular Memory is the Key to Continual Learning Agents [100.09688599754465]
  In-Weight Learning(IWL)の強みと、モジュラーメモリの設計を通じて新たに登場したIn-Context Learning(ICL)の機能を組み合わせることが、大規模に継続的適応するための欠片である、と我々は主張する。 我々は、ICLを高速適応と知識蓄積に活用するモジュール型メモリ中心アーキテクチャの概念的フレームワークと、モデル機能の安定した更新のためのIWLについて概説する。
  論文  参考訳（メタデータ） (2026-03-02T11:40:05Z)
• Towards Continuous Intelligence Growth: Self-Training, Continual Learning, and Dual-Scale Memory in SuperIntelliAgent [10.571643330948858]
  SuperIntelliAgentは、学習可能な小さな拡散モデル(学習者)と凍結した大言語モデル(検証者)を結合するエージェント学習フレームワークである。 従来の教師付き微調整とは異なり、SuperIntelliAgentはアノテーションなしで自律的に学習する。 トレーニング可能な学習者と推論可能な検証器をペアリングすることは、知性を成長させる最小限の信頼性単位となると仮定する。
  論文  参考訳（メタデータ） (2025-11-28T18:32:49Z)
• Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling [60.63703438729223]
  異なるアーキテクチャとトレーニング手法がモデル多段階推論能力にどのように影響するかを示す。 我々は,逐次計算においてモデル深度の増加が重要な役割を担っていることを確認した。
  論文  参考訳（メタデータ） (2025-08-22T18:57:08Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Self-Activating Neural Ensembles for Continual Reinforcement Learning [23.00149997940467]
  Self-Activating Neural Ensembles (SANE) は、仮定せずに破滅的な忘れを避けるために設計されたモジュラーアーキテクチャを使用する。 トレーニング中、必要に応じて新しいモジュールが作成され、未使用のモジュールが変更されないように、アクティブなモジュールのみが更新される。 このシステムにより,新しいスキルを育成し,学習しながら,古いスキルを維持し,活用することができる。
  論文  参考訳（メタデータ） (2022-12-31T07:11:05Z)
• Dynamic Regret Analysis for Online Meta-Learning [0.0]
  オンラインメタ学習フレームワークは、継続的な生涯学習設定のための強力なツールとして生まれてきた。 この定式化には、メタラーナーを学ぶ外部レベルと、タスク固有のモデルを学ぶ内部レベルという2つのレベルが含まれる。 グローバルな予測から環境の変化を扱う動的な後悔という観点から、パフォーマンスを確立します。 本稿では,本分析を1つの設定で実施し,各イテレーションの総数に依存する局所的局所的後悔の対数論的証明を期待する。
  論文  参考訳（メタデータ） (2021-09-29T12:12:59Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。