論文の概要: SketchOGD: Memory-Efficient Continual Learning
- arxiv url: http://arxiv.org/abs/2305.16424v2
- Date: Mon, 10 Mar 2025 21:04:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 15:41:12.167548
- Title: SketchOGD: Memory-Efficient Continual Learning
- Title（参考訳）: SketchOGD: メモリ効率のよい継続的学習
- Authors: Youngjae Min, Benjamin Wright, Jeremy Bernstein, Navid Azizan,
- Abstract要約: 機械学習モデルが一連のタスクで継続的にトレーニングされている場合、以前のタスクで学んだことを忘れてはならないことが多い。
本稿では,行列スケッチという概念を用いて,破滅的記憶の記憶効率を向上する手法を提案する。
- 参考スコア（独自算出の注目度）: 7.739891949173392
- License:
- Abstract: When machine learning models are trained continually on a sequence of tasks, they are often liable to forget what they learned on previous tasks--a phenomenon known as catastrophic forgetting. Proposed solutions to catastrophic forgetting tend to involve storing information about past tasks, meaning that memory usage is a chief consideration in determining their practicality. This paper develops a memory-efficient solution to catastrophic forgetting using the idea of matrix sketching, in the context of a simple continual learning algorithm known as orthogonal gradient descent (OGD). OGD finds weight updates that aim to preserve performance on prior datapoints, using gradients of the model on those datapoints. However, since the memory cost of storing prior model gradients grows with the runtime of the algorithm, OGD is ill-suited to continual learning over long time horizons. To address this problem, we propose SketchOGD. SketchOGD employs an online sketching algorithm to compress model gradients as they are encountered into a matrix of a fixed, user-determined size. In contrast to existing memory-efficient variants of OGD, SketchOGD runs online without the need for advance knowledge of the total number of tasks, is simple to implement, and is more amenable to analysis. We provide theoretical guarantees on the approximation error of the relevant sketches under a novel metric suited to the downstream task of OGD. Experimentally, we find that SketchOGD tends to outperform current state-of-the-art variants of OGD given a fixed memory budget.
- Abstract（参考訳）: 機械学習モデルが一連のタスクで継続的に訓練されている場合、以前のタスクで学んだことを忘れることがしばしばある。
破滅的な忘れ方に対する解決策の提案は、過去のタスクに関する情報を格納する傾向があるため、メモリ使用がそれらの実用性を決定する主要な考慮事項である。
本稿では,直交勾配勾配(OGD)と呼ばれる単純な連続学習アルゴリズムの文脈において,行列スケッチという概念を用いて,破滅的記憶の記憶効率を向上する手法を提案する。
OGDは、これらのデータポイント上のモデルの勾配を使用して、以前のデータポイントのパフォーマンスを維持することを目的とした重み付け更新を見つける。
しかし,従来のモデル勾配を記憶するメモリコストはアルゴリズムの実行時間とともに増大するので,OGDは長時間の地平線上での継続的な学習に不適である。
この問題に対処するため,SketchOGDを提案する。
SketchOGDは、オンラインスケッチアルゴリズムを使用して、モデル勾配を圧縮し、固定されたユーザ決定サイズのマトリックスに遭遇する。
OGDの既存のメモリ効率の亜種とは対照的に、SketchOGDはタスクの総数に関する事前知識を必要とせずにオンラインで動作し、実装が簡単で、分析に適している。
我々は,OGDの下流タスクに適した新しい指標の下で,関連するスケッチの近似誤差を理論的に保証する。
実験により,SketchOGDはメモリ予算が固定された場合,現在最先端のOGDよりも優れていることがわかった。
関連論文リスト
- An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。
メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。
モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-07-30T16:30:09Z) - Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。
提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
論文 参考訳（メタデータ） (2024-01-12T17:57:07Z) - Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。
本稿では,手話の使用を排除したRGDアルゴリズムを提案する。
提案したRGDアルゴリズムの有効性は実験で広く実証されている。
論文 参考訳（メタデータ） (2023-12-03T02:26:58Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive
Least-Squares [8.443742714362521]
我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。
我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。
本実験では,提案手法の有効性をベースラインと比較した。
論文 参考訳（メタデータ） (2022-07-28T02:01:31Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳（メタデータ） (2022-03-02T22:35:58Z) - Provable Continual Learning via Sketched Jacobian Approximations [17.381658875470638]
忘れを克服するための一般的なアプローチは、以前のタスクで不十分なモデルをペナルティ化することで損失関数を正規化することである。
理想的条件下であっても、対角行列が以前のタスクのヘッセン行列の近似が貧弱であれば、破滅的な忘れを被る可能性があることを示す。
過去のデータのヤコビ行列をスケッチした新しいタスクの正規化トレーニング。
論文 参考訳（メタデータ） (2021-12-09T18:36:20Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - Gradient Projection Memory for Continual Learning [5.43185002439223]
過去のタスクを忘れずに継続的に学習する能力は、人工学習システムにとって望ましい属性です。
ニューラルネットワークは,従来のタスクにとって重要と考えられる勾配部分空間に直交方向の勾配を向けることで,新しいタスクを学習する手法を提案する。
論文 参考訳（メタデータ） (2021-03-17T16:31:29Z) - BEAR: Sketching BFGS Algorithm for Ultra-High Dimensional Feature
Selection in Sublinear Memory [13.596664481933875]
現在の大規模スケッチアルゴリズムは、スケッチされた領域における不可逆的な衝突とノイズの蓄積により、メモリ精度のトレードオフが低いことを示す。
我々はBEARを開発し、著名なブロイデン=フレッチャー=ゴールドファーブ=シャノン(BFGS)アルゴリズムに2階勾配を格納することで余分な衝突を避ける。
実世界のデータセットの実験により、BEARは1次スケッチアルゴリズムと同一の分類精度を達成するために最大で3桁のメモリスペースを必要とすることが示された。
論文 参考訳（メタデータ） (2020-10-26T18:31:27Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳（メタデータ） (2020-06-11T16:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。