論文の概要: Leveraging Lightweight Generators for Memory Efficient Continual Learning
- arxiv url: http://arxiv.org/abs/2506.19692v1
- Date: Tue, 24 Jun 2025 14:59:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-25 19:48:23.686781
- Title: Leveraging Lightweight Generators for Memory Efficient Continual Learning
- Title（参考訳）: メモリ効率のよい連続学習のための軽量発電機の活用
- Authors: Christiaan Lamers, Ahmed Nabil Belbachir, Thomas Bäck, Niki van Stein,
- Abstract要約: 破滅的な忘れは、すべてのデータを以前のタスクからメモリに保持することで、簡単に軽減できる。
本稿では,メモリベースの連続学習アルゴリズムに必要なメモリを削減することを目的とする。
- 参考スコア（独自算出の注目度）: 0.01874930567916036
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Catastrophic forgetting can be trivially alleviated by keeping all data from previous tasks in memory. Therefore, minimizing the memory footprint while maximizing the amount of relevant information is crucial to the challenge of continual learning. This paper aims to decrease required memory for memory-based continuous learning algorithms. We explore the options of extracting a minimal amount of information, while maximally alleviating forgetting. We propose the usage of lightweight generators based on Singular Value Decomposition to enhance existing continual learning methods, such as A-GEM and Experience Replay. These generators need a minimal amount of memory while being maximally effective. They require no training time, just a single linear-time fitting step, and can capture a distribution effectively from a small number of data samples. Depending on the dataset and network architecture, our results show a significant increase in average accuracy compared to the original methods. Our method shows great potential in minimizing the memory footprint of memory-based continual learning algorithms.
- Abstract（参考訳）: 破滅的な忘れは、すべてのデータを以前のタスクからメモリに保持することで、簡単に軽減できる。
したがって、記憶のフットプリントを最小化しつつ、関連する情報の量を最大化することは、継続的な学習の課題に不可欠である。
本稿では,メモリベースの連続学習アルゴリズムに必要なメモリを削減することを目的とする。
最小限の情報量を抽出するオプションを探索し、最大で忘れを緩和する。
本稿では,A-GEM や Experience Replay などの既存の継続学習手法を強化するために,Singular Value Decomposition に基づく軽量なジェネレータを提案する。
これらのジェネレータは最大効果を保ちながら最小限のメモリを必要とする。
トレーニング時間や1つの線形時間フィッティングステップを必要とせず、少数のデータサンプルから効果的に分散をキャプチャできる。
本研究の結果は,データセットやネットワークアーキテクチャによって,従来の手法に比べて平均精度が大幅に向上した。
本手法は,メモリベース連続学習アルゴリズムのメモリフットプリントを最小化するための大きな可能性を示す。
関連論文リスト
- Information-Theoretic Dual Memory System for Continual Learning [8.803516528821161]
我々はITDMS(Information-Theoretic Dual Memory System)と呼ばれる革新的なデュアルメモリシステムを提案する。
このシステムは、一時的および新規なサンプルを保持するように設計された高速メモリバッファと、重要かつ情報的なサンプルを保存するための遅いメモリバッファから構成される。
提案手法は,一連の連続学習実験を通じて厳密に評価され,提案システムの有効性を実証した。
論文 参考訳（メタデータ） (2025-01-13T15:01:12Z) - An Efficient Procedure for Computing Bayesian Network Structure Learning [0.9208007322096532]
本稿では,段階的にレベル付けされたスコアリング手法に基づいて,グローバルに最適なベイズネットワーク構造探索アルゴリズムを提案する。
実験結果から,本手法はメモリのみを使用する場合,ピークメモリ使用量を削減するだけでなく,計算効率も向上することが示された。
論文 参考訳（メタデータ） (2024-07-24T07:59:18Z) - Towards Continuous Reuse of Graph Models via Holistic Memory Diversification [18.66123763295736]
本稿では,より複雑なタスクを持つグラフの成長における漸進的学習の課題に対処する。
目標は、新しいタスクを処理するためにグラフモデルを継続的にトレーニングし、メモリリプレイによる以前のタスクの習熟性を維持することである。
既存の方法は、通常、以前のタスクから高品質なメモリを選択する際の制限として、メモリの多様性の重要性を見落としている。
論文 参考訳（メタデータ） (2024-06-11T16:18:15Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳（メタデータ） (2023-10-16T09:04:28Z) - Vocabulary-level Memory Efficiency for Language Model Fine-tuning [36.1039389951318]
微調整中,語彙のかなりの割合が未使用であることが判明した。
本稿では,メモリ使用量を最小限に抑えるため,この発見を利用したシンプルで効果的な手法を提案する。
我々の手法は、より効率的な計算資源の利用を可能にしながら、下流のタスク性能に影響を与えない。
論文 参考訳（メタデータ） (2023-09-15T19:00:00Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - Memory-Based Label-Text Tuning for Few-Shot Class-Incremental Learning [20.87638654650383]
メモリプロンプトを用いてラベルテキスト情報を活用することを提案する。
メモリプロンプトは、新しいデータをシーケンシャルに学習し、一方、前の知識を記憶する。
実験の結果,提案手法は従来の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2022-07-03T13:15:45Z) - Memory Replay with Data Compression for Continual Learning [80.95444077825852]
古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。
我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
論文 参考訳（メタデータ） (2022-02-14T10:26:23Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳（メタデータ） (2021-05-10T15:09:01Z) - TinyTL: Reduce Activations, Not Trainable Parameters for Efficient
On-Device Learning [78.80707950262214]
デバイス上での学習により、エッジデバイスはAIモデルを新しいデータに継続的に適応できる。
既存の作業は、トレーニング可能なパラメータの数を減らすことで、この問題を解決する。
メモリ効率の高いオンデバイス学習のためのTiny-Transfer-Learning(TinyTL)を提案する。
論文 参考訳（メタデータ） (2020-07-22T18:39:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。