論文の概要: Efficient Self-supervised Continual Learning with Progressive
Task-correlated Layer Freezing
- arxiv url: http://arxiv.org/abs/2303.07477v1
- Date: Mon, 13 Mar 2023 21:27:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-15 17:22:26.739674
- Title: Efficient Self-supervised Continual Learning with Progressive
Task-correlated Layer Freezing
- Title（参考訳）: プログレッシブタスク相関層凍結による高効率自己教師付き連続学習
- Authors: Li Yang, Sen Lin, Fan Zhang, Junshan Zhang and Deliang Fan
- Abstract要約: 自己教師付き連続学習(SSCL)は、ラベルのないデータから視覚表現を学習するための新しいパラダイムである。
本研究では, 部分層を段階的に凍結し, トレーニング効率とメモリ効率を向上する新しいSSCL法を提案する。
提案手法は,様々なSSLフレームワーク下でのSoTA SSCL法に対して優れた性能を示す。
- 参考スコア（独自算出の注目度）: 39.99307034315441
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by the success of Self-supervised learning (SSL) in learning visual
representations from unlabeled data, a few recent works have studied SSL in the
context of continual learning (CL), where multiple tasks are learned
sequentially, giving rise to a new paradigm, namely self-supervised continual
learning (SSCL). It has been shown that the SSCL outperforms supervised
continual learning (SCL) as the learned representations are more informative
and robust to catastrophic forgetting. However, if not designed intelligently,
the training complexity of SSCL may be prohibitively high due to the inherent
training cost of SSL. In this work, by investigating the task correlations in
SSCL setup first, we discover an interesting phenomenon that, with the
SSL-learned background model, the intermediate features are highly correlated
between tasks. Based on this new finding, we propose a new SSCL method with
layer-wise freezing which progressively freezes partial layers with the highest
correlation ratios for each task to improve training computation efficiency and
memory efficiency. Extensive experiments across multiple datasets are
performed, where our proposed method shows superior performance against the
SoTA SSCL methods under various SSL frameworks. For example, compared to LUMP,
our method achieves 12\%/14\%/12\% GPU training time reduction, 23\%/26\%/24\%
memory reduction, 35\%/34\%/33\% backward FLOPs reduction, and
1.31\%/1.98\%/1.21\% forgetting reduction without accuracy degradation on three
datasets, respectively.
- Abstract（参考訳）: ラベルのないデータから視覚表現を学ぶための自己教師付き学習(SSL)の成功に触発された最近の研究は、複数のタスクが順次学習される連続学習(CL)の文脈でSSLを研究し、新たなパラダイム、すなわち自己教師付き連続学習(SSCL)を生み出した。
SSCLは教師付き連続学習(SCL)より優れており、学習表現は破滅的な忘れ方に対してより情報的かつ堅牢である。
しかし、知的に設計されていない場合、SSCLのトレーニングの複雑さはSSL固有のトレーニングコストのため、禁断的に高い可能性がある。
本研究は,SSCLセットアップにおけるタスク相関をまず検討することにより,SSL学習背景モデルを用いてタスク間に高い相関関係を持つという興味深い現象を発見した。
この新たな発見に基づいて,各タスクの相関率が最も高い部分層を段階的に凍結し,トレーニング計算効率とメモリ効率を向上する,階層的に凍結した新しいSSCL法を提案する。
複数のデータセットにわたる大規模な実験を行い、提案手法は様々なSSLフレームワーク下でのSoTA SSCL法に対して優れた性能を示す。
例えば、hembと比較して、gpuトレーニング時間の削減は12\%/14\%/12\%、メモリ削減は23\%/26\%/24\%、後方フロップ削減は35\%/34\%/33\%、後方フロップ削減は1.31\%/1.98\%/1.21\%の削減は3つのデータセットで精度低下を伴わない。
関連論文リスト
- L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering [33.165094795515785]
グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。
L2CLは、異なるレイヤの表現を対比する、原則的なレイヤ間コントラスト学習フレームワークである。
その結果,L2CLは,一対一のコントラスト学習パラダイムのみを用いて,固有の意味構造をキャプチャし,ノード表現の質を向上させることができることがわかった。
論文 参考訳（メタデータ） (2024-07-19T12:45:21Z) - Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳（メタデータ） (2024-03-10T09:46:28Z) - Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳（メタデータ） (2023-12-27T04:40:12Z) - Improving Representation Learning for Histopathologic Images with
Cluster Constraints [31.426157660880673]
自己教師型学習(SSL)事前学習戦略が,現実的な代替手段として浮上している。
転送可能な表現学習と意味的に意味のあるクラスタリングのためのSSLフレームワークを導入する。
我々の手法は、下流の分類やクラスタリングタスクにおいて一般的なSSLメソッドよりも優れています。
論文 参考訳（メタデータ） (2023-10-18T21:20:44Z) - Plasticity-Optimized Complementary Networks for Unsupervised Continual
Learning [22.067640536948545]
継続的教師なし表現学習(CURL)の研究は、自己教師付き学習(SSL)技術の改善から大いに恩恵を受けている。
SSLを使った既存のCURLメソッドは、ラベルなしで高品質な表現を学習できるが、マルチタスクのデータストリームで学ぶ場合、顕著なパフォーマンス低下がある。
本稿では,従来の知識の維持の義務を解き放ち,新たなタスクに最適に集中できる専門家ネットワークを育成することを提案する。
論文 参考訳（メタデータ） (2023-09-12T09:31:34Z) - Continual Learning with Dynamic Sparse Training: Exploring Algorithms
for Effective Model Updates [13.983410740333788]
連続学習(英: Continual Learning, CL)とは、知的なシステムが、可能な限り計算オーバーヘッドの少ないデータストリームから、逐次的に知識を取得し、保持する能力である。
ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、これらのスパースネットワークを見つけ、タスクごとに分離する方法である。
本論文は,CLパラダイムの下で異なるDST成分の効果を検証した最初の実証的研究である。
論文 参考訳（メタデータ） (2023-08-28T18:31:09Z) - Towards Memory- and Time-Efficient Backpropagation for Training Spiking
Neural Networks [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。
本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。
BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
論文 参考訳（メタデータ） (2023-02-28T05:01:01Z) - Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。
Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-22T06:30:44Z) - Decoupled Contrastive Learning [23.25775900388382]
我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。
NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。
われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
論文 参考訳（メタデータ） (2021-10-13T16:38:43Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。