論文の概要: SketchOGD: Memory-Efficient Continual Learning
- arxiv url: http://arxiv.org/abs/2305.16424v1
- Date: Thu, 25 May 2023 18:56:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 18:25:31.531254
- Title: SketchOGD: Memory-Efficient Continual Learning
- Title（参考訳）: SketchOGD: メモリ効率のよい継続的学習
- Authors: Benjamin Wright, Youngjae Min, Jeremy Bernstein, Navid Azizan
- Abstract要約: 機械学習モデルが一連のタスクで継続的にトレーニングされる場合、以前のタスクで学んだことを忘れる義務がある。
本稿では,OGD(勾配降下法)と呼ばれる確立されたアルゴリズムを改良した,破滅的忘れに対するメモリ効率のよい解を提案する。
- 参考スコア（独自算出の注目度）: 9.372686529398859
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When machine learning models are trained continually on a sequence of tasks,
they are liable to forget what they learned on previous tasks -- a phenomenon
known as catastrophic forgetting. Proposed solutions to catastrophic forgetting
tend to involve storing information about past tasks, meaning that memory usage
is a chief consideration in determining their practicality. This paper proposes
a memory-efficient solution to catastrophic forgetting, improving upon an
established algorithm known as orthogonal gradient descent (OGD). OGD utilizes
prior model gradients to find weight updates that preserve performance on prior
datapoints. However, since the memory cost of storing prior model gradients
grows with the runtime of the algorithm, OGD is ill-suited to continual
learning over arbitrarily long time horizons. To address this problem, this
paper proposes SketchOGD. SketchOGD employs an online sketching algorithm to
compress model gradients as they are encountered into a matrix of a fixed,
user-determined size. In contrast to existing memory-efficient variants of OGD,
SketchOGD runs online without the need for advance knowledge of the total
number of tasks, is simple to implement, and is more amenable to analysis. We
provide theoretical guarantees on the approximation error of the relevant
sketches under a novel metric suited to the downstream task of OGD.
Experimentally, we find that SketchOGD tends to outperform current
state-of-the-art variants of OGD given a fixed memory budget.
- Abstract（参考訳）: 機械学習モデルが一連のタスクで継続的にトレーニングされている場合、以前のタスクで学んだことを忘れる義務があります。
破滅的な忘れ方に対する解決策の提案は、過去のタスクに関する情報を格納する傾向があるため、メモリ使用がそれらの実用性を決定する主要な考慮事項である。
本稿では,直交勾配降下 (ogd) と呼ばれる確立したアルゴリズムを改良し,破滅的忘れ方に対するメモリ効率の高い解を提案する。
OGDは以前のモデル勾配を利用して、以前のデータポイントのパフォーマンスを保ったウェイトアップデートを見つける。
しかし,従来のモデル勾配を記憶するメモリコストはアルゴリズムの実行時間とともに増大するので,OGDは任意の時間的水平線上の連続的な学習に不適である。
そこで本研究では,SketchOGDを提案する。
SketchOGDはオンラインスケッチアルゴリズムを使用して、モデル勾配を圧縮し、固定されたユーザ決定サイズのマトリックスに遭遇する。
OGDの既存のメモリ効率の亜種とは対照的に、SketchOGDはタスクの総数に関する事前知識を必要とせずにオンラインで動作し、実装が簡単で、分析に適している。
我々は,ogdの下流課題に適した新しい指標の下で,関連するスケッチの近似誤差に関する理論的保証を提供する。
実験により,SketchOGDはメモリ予算が固定された場合,現在最先端のOGDよりも優れていることがわかった。
関連論文リスト
- An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。
メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。
モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-07-30T16:30:09Z) - Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。
提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
論文 参考訳（メタデータ） (2024-01-12T17:57:07Z) - Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。
本稿では,手話の使用を排除したRGDアルゴリズムを提案する。
提案したRGDアルゴリズムの有効性は実験で広く実証されている。
論文 参考訳（メタデータ） (2023-12-03T02:26:58Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive
Least-Squares [8.443742714362521]
我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。
我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。
本実験では,提案手法の有効性をベースラインと比較した。
論文 参考訳（メタデータ） (2022-07-28T02:01:31Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳（メタデータ） (2022-03-02T22:35:58Z) - Provable Continual Learning via Sketched Jacobian Approximations [17.381658875470638]
忘れを克服するための一般的なアプローチは、以前のタスクで不十分なモデルをペナルティ化することで損失関数を正規化することである。
理想的条件下であっても、対角行列が以前のタスクのヘッセン行列の近似が貧弱であれば、破滅的な忘れを被る可能性があることを示す。
過去のデータのヤコビ行列をスケッチした新しいタスクの正規化トレーニング。
論文 参考訳（メタデータ） (2021-12-09T18:36:20Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - Gradient Projection Memory for Continual Learning [5.43185002439223]
過去のタスクを忘れずに継続的に学習する能力は、人工学習システムにとって望ましい属性です。
ニューラルネットワークは,従来のタスクにとって重要と考えられる勾配部分空間に直交方向の勾配を向けることで,新しいタスクを学習する手法を提案する。
論文 参考訳（メタデータ） (2021-03-17T16:31:29Z) - BEAR: Sketching BFGS Algorithm for Ultra-High Dimensional Feature
Selection in Sublinear Memory [13.596664481933875]
現在の大規模スケッチアルゴリズムは、スケッチされた領域における不可逆的な衝突とノイズの蓄積により、メモリ精度のトレードオフが低いことを示す。
我々はBEARを開発し、著名なブロイデン=フレッチャー=ゴールドファーブ=シャノン(BFGS)アルゴリズムに2階勾配を格納することで余分な衝突を避ける。
実世界のデータセットの実験により、BEARは1次スケッチアルゴリズムと同一の分類精度を達成するために最大で3桁のメモリスペースを必要とすることが示された。
論文 参考訳（メタデータ） (2020-10-26T18:31:27Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳（メタデータ） (2020-06-11T16:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。