論文の概要: CBA: Improving Online Continual Learning via Continual Bias Adaptor

• arxiv url: http://arxiv.org/abs/2308.06925v1
• Date: Mon, 14 Aug 2023 04:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 14:38:44.592628
• Title: CBA: Improving Online Continual Learning via Continual Bias Adaptor
• Title（参考訳）: CBA:連続バイアスアダプタによるオンライン継続的学習の改善
• Authors: Quanziang Wang, Renzhen Wang, Yichen Wu, Xixi Jia, Deyu Meng
• Abstract要約: 本稿では,学習中の破滅的な分布変化に対応するために,分類器ネットワークを増強する連続バイアス適応器を提案する。 テスト段階では、CBAを削除できるため、追加のコストとメモリオーバーヘッドは発生しない。 提案手法が破滅的な分布変化を効果的に軽減できる理由を理論的に明らかにする。
• 参考スコア（独自算出の注目度）: 44.1816716207484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online continual learning (CL) aims to learn new knowledge and consolidate previously learned knowledge from non-stationary data streams. Due to the time-varying training setting, the model learned from a changing distribution easily forgets the previously learned knowledge and biases toward the newly received task. To address this problem, we propose a Continual Bias Adaptor (CBA) module to augment the classifier network to adapt to catastrophic distribution change during training, such that the classifier network is able to learn a stable consolidation of previously learned tasks. In the testing stage, CBA can be removed which introduces no additional computation cost and memory overhead. We theoretically reveal the reason why the proposed method can effectively alleviate catastrophic distribution shifts, and empirically demonstrate its effectiveness through extensive experiments based on four rehearsal-based baselines and three public continual learning benchmarks.
• Abstract（参考訳）: online continual learning(cl)は、新しい知識を学び、非定常データストリームから学習済みの知識を統合することを目的としている。 時間的に異なるトレーニング設定のため、変化分布から学習したモデルは、新しく受け取ったタスクに対する学習した知識やバイアスを忘れやすい。 そこで,本研究では,分類器ネットワークが事前学習したタスクの安定した統合を学習できるように,学習中の破滅的な分布変化に対応するために,分類器ネットワークを強化するための連続バイアス適応器(cba)モジュールを提案する。 テスト段階では、cbaは削除できるため、追加の計算コストとメモリオーバーヘッドは発生しない。 提案手法が破滅的分布シフトを効果的に緩和できる理由を理論的に明らかにし,その効果を4つのリハーサルベースラインと3つの公開連続学習ベンチマークに基づいて実験的に実証した。

関連論文リスト

• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• DELTA: Decoupling Long-Tailed Online Continual Learning [7.507868991415516]
  Long-Tailed Online Continual Learning (LTOCL)は、クラス不均衡なデータストリームのシーケンシャルな到着から新しいタスクを学ぶことを目的としている。 DELTAは,学習表現の強化を目的とした非結合型学習手法である。 我々は,DELTAが既存のOCL手法を超越して,インクリメンタル学習の能力を向上させることを実証した。
  論文  参考訳（メタデータ） (2024-04-06T02:33:04Z)
• Online Prototype Learning for Online Continual Learning [36.91213307667659]
  シングルパスデータストリームから連続的に学習する問題について検討する。 古いデータの小さなサブセットを保存することで、リプレイベースのメソッドは有望なパフォーマンスを示している。 本稿では,オンライン学習モデルが,ショートカット学習の新たな視点からうまく一般化できない理由を理解することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T05:46:40Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning [17.995662644298974]
  継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。 近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。 等変正則化(CLER)による連続学習を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:10:31Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。