論文の概要: DLCFT: Deep Linear Continual Fine-Tuning for General Incremental
Learning
- arxiv url: http://arxiv.org/abs/2208.08112v1
- Date: Wed, 17 Aug 2022 06:58:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 12:08:54.392982
- Title: DLCFT: Deep Linear Continual Fine-Tuning for General Incremental
Learning
- Title(参考訳): DLCFT: インクリメンタル学習のための深い線形連続ファインチューニング
- Authors: Hyounguk Shon, Janghyeon Lee, Seung Hwan Kim, Junmo Kim
- Abstract要約: 事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。
本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。
本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
- 参考スコア(独自算出の注目度): 29.80680408934347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained representation is one of the key elements in the success of
modern deep learning. However, existing works on continual learning methods
have mostly focused on learning models incrementally from scratch. In this
paper, we explore an alternative framework to incremental learning where we
continually fine-tune the model from a pre-trained representation. Our method
takes advantage of linearization technique of a pre-trained neural network for
simple and effective continual learning. We show that this allows us to design
a linear model where quadratic parameter regularization method is placed as the
optimal continual learning policy, and at the same time enjoying the high
performance of neural networks. We also show that the proposed algorithm
enables parameter regularization methods to be applied to class-incremental
problems. Additionally, we provide a theoretical reason why the existing
parameter-space regularization algorithms such as EWC underperform on neural
networks trained with cross-entropy loss. We show that the proposed method can
prevent forgetting while achieving high continual fine-tuning performance on
image classification tasks. To show that our method can be applied to general
continual learning settings, we evaluate our method in data-incremental,
task-incremental, and class-incremental learning problems.
- Abstract(参考訳): 事前学習された表現は、現代のディープラーニングの成功の鍵となる要素の1つである。
しかし、継続学習手法に関する既存の研究は、主にスクラッチから漸進的にモデルを学習することに焦点を当てている。
本稿では,事前学習された表現からモデルを継続的に微調整する,インクリメンタル学習の代替フレームワークについて検討する。
本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。
これにより、2次パラメータ正規化法を最適連続学習ポリシーとして位置づける線形モデルの設計が可能であり、同時にニューラルネットワークの性能も向上することを示す。
また,提案アルゴリズムにより,パラメータ正規化手法をクラス増分問題に適用できることを示す。
さらに、ewcのような既存のパラメータ空間正規化アルゴリズムが、クロスエントロピー損失を訓練したニューラルネットワークに過小評価される理由を理論的に提示する。
提案手法は,画像分類タスクにおいて,連続的な微調整性能を保ちながら,忘れを防止できることを示す。
本手法を総合的な連続学習環境に適用できることを示すため,本手法をデータインクリメンタル,タスクインクリメンタル,クラスインクリメンタル学習問題において評価する。
関連論文リスト
- PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳(メタデータ) (2023-09-13T17:55:11Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳(メタデータ) (2023-06-05T15:11:59Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳(メタデータ) (2022-12-09T13:22:27Z) - Neural Architecture for Online Ensemble Continual Learning [6.241435193861262]
我々は、エンドツーエンドのニューラルネットワークのアンサンブルを効率的に訓練できる、完全に微分可能なアンサンブル法を提案する。
提案手法は,メモリバッファを使わずにSOTA結果が得られ,参照手法よりも明らかに優れている。
論文 参考訳(メタデータ) (2022-11-27T23:17:08Z) - Adaptive Learning Rate and Momentum for Training Deep Neural Networks [0.0]
本研究では,非線形共役勾配(CG)フレームワークによる高速トレーニング手法を開発した。
画像分類データセットの実験により,本手法は他の局所解法よりも高速な収束が得られることが示された。
論文 参考訳(メタデータ) (2021-06-22T05:06:56Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳(メタデータ) (2020-06-11T16:36:31Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳(メタデータ) (2020-05-16T19:18:10Z) - Continual Deep Learning by Functional Regularisation of Memorable Past [95.97578574330934]
知的システムにとって、新しいスキルを継続的に学習することは重要だが、標準的なディープラーニング手法は、過去の破滅的な忘れ物に悩まされている。
本稿では, 過去の記憶に残るいくつかの例を, 忘れることを避けるために活用する機能正規化手法を提案する。
提案手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開拓する。
論文 参考訳(メタデータ) (2020-04-29T10:47:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。