論文の概要: MyGO: Memory Yielding Generative Offline-consolidation for Lifelong Learning Systems

• arxiv url: http://arxiv.org/abs/2508.21296v1
• Date: Fri, 29 Aug 2025 01:29:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.915392
• Title: MyGO: Memory Yielding Generative Offline-consolidation for Lifelong Learning Systems
• Title（参考訳）: MyGO:生涯学習システムのための生成オフライン統合のためのメモリ収量化
• Authors: Shihao Ji, Zihui Song,
• Abstract要約: MyGOは、生物学的覚醒サイクルにインスパイアされた、新しい生涯学習フレームワークである。 ウェイク」フェーズでは、システムは急速に新しいタスクを学び、コンパクトな生成モデルを訓練する。 スリープ」フェーズでは、システムはオフライン状態に入り、学習したすべてのG-memモデルを使用して擬似データを生成する。
• 参考スコア（独自算出の注目度）: 10.21556794551883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual or Lifelong Learning aims to develop models capable of acquiring new knowledge from a sequence of tasks without catastrophically forgetting what has been learned before. Existing approaches often rely on storing samples from previous tasks (experience replay) or employing complex regularization terms to protect learned weights. However, these methods face challenges related to data privacy, storage limitations, and performance degradation when tasks are dissimilar. To address these challenges, we introduce MyGO (Memory Yielding Generative Offline-consolidation), a novel lifelong learning framework inspired by the biological wake-sleep cycle. During the "wake" phase, the system rapidly learns a new task and trains a compact generative model (Generative Memory, G-mem) to capture its data distribution. During the "sleep" phase, the system enters an offline state, using all learned G-mem models to generate pseudo-data ("dreams") and consolidate new and old knowledge into a core feature extractor via knowledge distillation. This approach obviates the need to store any raw data, retaining only compact generative models, which offers significant advantages in privacy and storage efficiency. We evaluate MyGO on computer vision (Split-MNIST) and natural language processing (Split-AG News) benchmarks, comparing it against a sequential fine-tuning baseline. The results demonstrate that MyGO significantly mitigates catastrophic forgetting and maintains high average accuracy across tasks, proving the framework's effectiveness and domain-generality.
• Abstract（参考訳）: 継続学習または生涯学習は、過去に学んだことを破滅的に忘れることなく、一連のタスクから新しい知識を得ることのできるモデルを開発することを目的としている。 既存のアプローチでは、以前のタスク(経験的なリプレイ)からサンプルを保存することや、学習した重みを保護するために複雑な正規化用語を使うことが多い。 しかし、これらの手法は、タスクが異なる場合のデータプライバシ、ストレージ制限、パフォーマンス低下に関連する課題に直面している。 これらの課題に対処するために,生物の覚醒サイクルに触発された新しい生涯学習フレームワークであるMyGO(Memory Yielding Generative Offline-solidation)を紹介した。 ウェイク」フェーズでは、システムは新しいタスクを迅速に学習し、コンパクトな生成モデル(生成メモリ、G-mem)を訓練し、そのデータ分布をキャプチャする。 スリープ」フェーズでは、システムはオフライン状態に入り、学習したすべてのG-memモデルを使用して擬似データ("dreams")を生成し、知識蒸留を通じて新しい旧来の知識をコア特徴抽出器に統合する。 このアプローチは、任意の生データを保存する必要をなくし、コンパクトな生成モデルのみを保持し、プライバシとストレージ効率に大きな利点をもたらす。 我々はMyGOをコンピュータビジョン(Split-MNIST)と自然言語処理(Split-AG News)のベンチマークで評価し、それらを逐次微調整ベースラインと比較した。 その結果、MyGOは壊滅的な忘れを著しく軽減し、タスク全体にわたって高い平均精度を維持し、フレームワークの有効性とドメインの汎用性を証明した。

関連論文リスト

• MemOS: A Memory OS for AI System [116.87568350346537]
  大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。 既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。 MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
  論文  参考訳（メタデータ） (2025-07-04T17:21:46Z)
• Log-Augmented Generation: Scaling Test-Time Reasoning with Reusable Computation [80.69067017594709]
  大規模言語モデル(LLM)とそのエージェントモデルは、以前のタスクからの推論を維持するのに苦労する。 本稿では,従来の計算を直接再利用し,テスト時に過去のログから推論する新しいフレームワークであるLAGを提案する。 本手法は,ログを使用しない標準的なエージェントシステムよりも優れている。
  論文  参考訳（メタデータ） (2025-05-20T14:14:38Z)
• From RAG to Memory: Non-Parametric Continual Learning for Large Language Models [6.380729797938521]
  検索強化世代(RAG)は、新しい情報を導入する主要な方法となっている。 最近のRAGは、知識グラフのような様々な構造を持つベクトル埋め込みを拡大して、いくつかのギャップ、すなわちセンスメイキングと連想性に対処している。 我々は,現実的,感覚的,連想的なメモリタスクにおいて,標準RAGを総合的に上回るフレームワークであるHippoRAG 2を提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:26:02Z)
• Towards Continuous Reuse of Graph Models via Holistic Memory Diversification [18.66123763295736]
  本稿では,より複雑なタスクを持つグラフの成長における漸進的学習の課題に対処する。 目標は、新しいタスクを処理するためにグラフモデルを継続的にトレーニングし、メモリリプレイによる以前のタスクの習熟性を維持することである。 既存の方法は、通常、以前のタスクから高品質なメモリを選択する際の制限として、メモリの多様性の重要性を見落としている。
  論文  参考訳（メタデータ） (2024-06-11T16:18:15Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• GAN Memory with No Forgetting [71.59992224279651]
  生成プロセスを介してデータセットのストリームを記憶できる生涯学習用GANメモリを提案する。 我々のGANメモリは、GANモデルの"スタイル"を調整して、知覚的に異なるターゲット生成を生成できることを認識します。
  論文  参考訳（メタデータ） (2020-06-13T03:19:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。