論文の概要: CBA: Improving Online Continual Learning via Continual Bias Adaptor
- arxiv url: http://arxiv.org/abs/2308.06925v1
- Date: Mon, 14 Aug 2023 04:03:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 14:38:44.592628
- Title: CBA: Improving Online Continual Learning via Continual Bias Adaptor
- Title(参考訳): CBA:連続バイアスアダプタによるオンライン継続的学習の改善
- Authors: Quanziang Wang, Renzhen Wang, Yichen Wu, Xixi Jia, Deyu Meng
- Abstract要約: 本稿では,学習中の破滅的な分布変化に対応するために,分類器ネットワークを増強する連続バイアス適応器を提案する。
テスト段階では、CBAを削除できるため、追加のコストとメモリオーバーヘッドは発生しない。
提案手法が破滅的な分布変化を効果的に軽減できる理由を理論的に明らかにする。
- 参考スコア(独自算出の注目度): 44.1816716207484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online continual learning (CL) aims to learn new knowledge and consolidate
previously learned knowledge from non-stationary data streams. Due to the
time-varying training setting, the model learned from a changing distribution
easily forgets the previously learned knowledge and biases toward the newly
received task. To address this problem, we propose a Continual Bias Adaptor
(CBA) module to augment the classifier network to adapt to catastrophic
distribution change during training, such that the classifier network is able
to learn a stable consolidation of previously learned tasks. In the testing
stage, CBA can be removed which introduces no additional computation cost and
memory overhead. We theoretically reveal the reason why the proposed method can
effectively alleviate catastrophic distribution shifts, and empirically
demonstrate its effectiveness through extensive experiments based on four
rehearsal-based baselines and three public continual learning benchmarks.
- Abstract(参考訳): online continual learning(cl)は、新しい知識を学び、非定常データストリームから学習済みの知識を統合することを目的としている。
時間的に異なるトレーニング設定のため、変化分布から学習したモデルは、新しく受け取ったタスクに対する学習した知識やバイアスを忘れやすい。
そこで,本研究では,分類器ネットワークが事前学習したタスクの安定した統合を学習できるように,学習中の破滅的な分布変化に対応するために,分類器ネットワークを強化するための連続バイアス適応器(cba)モジュールを提案する。
テスト段階では、cbaは削除できるため、追加の計算コストとメモリオーバーヘッドは発生しない。
提案手法が破滅的分布シフトを効果的に緩和できる理由を理論的に明らかにし,その効果を4つのリハーサルベースラインと3つの公開連続学習ベンチマークに基づいて実験的に実証した。
関連論文リスト
- Online Prototype Learning for Online Continual Learning [36.91213307667659]
シングルパスデータストリームから連続的に学習する問題について検討する。
古いデータの小さなサブセットを保存することで、リプレイベースのメソッドは有望なパフォーマンスを示している。
本稿では,オンライン学習モデルが,ショートカット学習の新たな視点からうまく一般化できない理由を理解することを目的とする。
論文 参考訳(メタデータ) (2023-08-01T05:46:40Z) - Detecting Morphing Attacks via Continual Incremental Training [10.796380524798744]
近年の継続学習(CL)パラダイムは,複数のサイトを通したインクリメンタルトレーニングを実現する上で,効果的なソリューションである可能性がある。
本稿では,このシナリオにおける異なる連続学習手法の性能について検討し,可変サイズであっても,新しいデータチャンクが利用できる度に更新される学習モデルをシミュレートする。
実験結果から,特定のCL手法,すなわちLawF(Learning without Forgetting)が最良性能アルゴリズムの1つであることが判明した。
論文 参考訳(メタデータ) (2023-07-27T17:48:29Z) - Offline Experience Replay for Continual Offline Reinforcement Learning [18.744638194399446]
エージェントには、事前にコンパイルされたオフラインデータセットのシーケンスを通じて、新たなスキルを継続的に学習することが望ましい。
本稿では、エージェントが一連のオフライン強化学習タスクを学習する、新しい設定である連続オフライン強化学習(CORL)を定式化する。
本稿では,リプレイバッファを構築するためのモデルベースエクスペリエンス選択手法を提案する。
論文 参考訳(メタデータ) (2023-05-23T08:16:44Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - On the Effectiveness of Equivariant Regularization for Robust Online
Continual Learning [17.995662644298974]
継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。
近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。
等変正則化(CLER)による連続学習を提案する。
論文 参考訳(メタデータ) (2023-05-05T16:10:31Z) - Online Continual Learning via the Knowledge Invariant and Spread-out
Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。
知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。
提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文 参考訳(メタデータ) (2023-02-02T04:03:38Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative
Priors [59.93972277761501]
我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。
このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
論文 参考訳(メタデータ) (2022-05-20T16:19:30Z) - Online Continual Learning with Natural Distribution Shifts: An Empirical
Study with Visual Data [101.6195176510611]
オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。
オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。
本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2021-08-20T06:17:20Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳(メタデータ) (2020-07-30T16:00:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。