論文の概要: Learning Equi-angular Representations for Online Continual Learning
- arxiv url: http://arxiv.org/abs/2404.01628v1
- Date: Tue, 2 Apr 2024 04:29:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 17:58:09.522839
- Title: Learning Equi-angular Representations for Online Continual Learning
- Title(参考訳): オンライン連続学習のための等角表現の学習
- Authors: Minhyuk Seo, Hyunseo Koh, Wonje Jeung, Minjae Lee, San Kim, Hankook Lee, Sungjun Cho, Sungik Choi, Hyunwoo Kim, Jonghyun Choi,
- Abstract要約: 特に, 神経崩壊を誘発し, 表現空間に単純な等角的タイトフレーム(ETF)構造を形成する。
提案手法は,様々なオンライン連続学習シナリオにおいて,最先端の手法よりも顕著に優れていることを示す。
- 参考スコア(独自算出の注目度): 28.047867978274358
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Online continual learning suffers from an underfitted solution due to insufficient training for prompt model update (e.g., single-epoch training). To address the challenge, we propose an efficient online continual learning method using the neural collapse phenomenon. In particular, we induce neural collapse to form a simplex equiangular tight frame (ETF) structure in the representation space so that the continuously learned model with a single epoch can better fit to the streamed data by proposing preparatory data training and residual correction in the representation space. With an extensive set of empirical validations using CIFAR-10/100, TinyImageNet, ImageNet-200, and ImageNet-1K, we show that our proposed method outperforms state-of-the-art methods by a noticeable margin in various online continual learning scenarios such as disjoint and Gaussian scheduled continuous (i.e., boundary-free) data setups.
- Abstract(参考訳): オンライン連続学習は、プロンプトモデル更新(例えば、シングルエポックトレーニング)のトレーニングが不十分なため、不適合なソリューションに悩まされる。
この課題に対処するために,ニューラル崩壊現象を用いた効率的なオンライン連続学習手法を提案する。
特に,1つのエポックを持つ連続学習モデルが,表現空間における予備データトレーニングと残差補正を提案してストリームデータに適合するように,表現空間に単純な等角的タイトフレーム(ETF)構造を形成するように神経崩壊を誘導する。
CIFAR-10/100, TinyImageNet, ImageNet-200, ImageNet-1K を用いた実験的な検証により, 提案手法は, 分割やガウス的連続(境界のない)データ設定などのオンライン連続学習シナリオにおいて, 最先端の手法よりも顕著に優れていることを示す。
関連論文リスト
- Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Improving Online Continual Learning Performance and Stability with
Temporal Ensembles [30.869268130955145]
オンライン連続学習における性能と安定性向上のためのモデルアンサンブルの効果について検討する。
テスト時の重み(EMA)の指数移動平均を計算するために,軽量時間アンサンブルを用いる。
論文 参考訳(メタデータ) (2023-06-29T09:53:24Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T20:30:55Z) - Continual Vision-Language Representation Learning with Off-Diagonal
Information [112.39419069447902]
CLIPのようなマルチモーダルなコントラスト学習フレームワークは通常、トレーニングに大量の画像テキストサンプルを必要とする。
本稿では,ストリーミングデータを用いた連続CLIPトレーニングの実現可能性について論じる。
論文 参考訳(メタデータ) (2023-05-11T08:04:46Z) - SimCS: Simulation for Domain Incremental Online Continual Segmentation [60.18777113752866]
既存の継続学習アプローチは、主にクラス増分設定における画像分類に焦点を当てている。
シミュレーションデータを用いて連続学習を規則化するパラメータフリー手法であるSimCSを提案する。
論文 参考訳(メタデータ) (2022-11-29T14:17:33Z) - DLCFT: Deep Linear Continual Fine-Tuning for General Incremental
Learning [29.80680408934347]
事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。
本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。
本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
論文 参考訳(メタデータ) (2022-08-17T06:58:14Z) - Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。
モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。
この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
論文 参考訳(メタデータ) (2022-07-13T09:43:17Z) - Continual Learning with Guarantees via Weight Interval Constraints [18.791232422083265]
ニューラルネットパラメータ空間の間隔制約を適用して、忘れを抑える新しいトレーニングパラダイムを導入する。
本稿では,モデルの連続的学習をパラメータ空間の連続的縮約として再構成することで,忘れることに制限を加える方法を示す。
論文 参考訳(メタデータ) (2022-06-16T08:28:37Z) - An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。
正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T02:27:55Z) - Improving the Accuracy of Early Exits in Multi-Exit Architectures via
Curriculum Learning [88.17413955380262]
マルチエクイットアーキテクチャにより、ディープニューラルネットワークは、正確なコストで厳密な期限に従うために、実行を早期に終了することができる。
カリキュラム学習を活用したマルチエクジットカリキュラム学習という新しい手法を紹介します。
本手法は, 標準訓練手法と比較して, 早期終了の精度を一貫して向上させる。
論文 参考訳(メタデータ) (2021-04-21T11:12:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。