論文の概要: Dual-CBA: Improving Online Continual Learning via Dual Continual Bias Adaptors from a Bi-level Optimization Perspective
- arxiv url: http://arxiv.org/abs/2408.13991v1
- Date: Mon, 26 Aug 2024 03:19:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 15:12:30.824697
- Title: Dual-CBA: Improving Online Continual Learning via Dual Continual Bias Adaptors from a Bi-level Optimization Perspective
- Title（参考訳）: Dual-CBA: 双方向最適化の観点からの2段階連続バイアスアダプタによるオンライン連続学習の改善
- Authors: Quanziang Wang, Renzhen Wang, Yichen Wu, Xixi Jia, Minghao Zhou, Deyu Meng,
- Abstract要約: オンライン連続学習(CL)では、分散の変化に訓練されたモデルは、新しく受け取ったタスクに対する学習した知識とバイアスを忘れやすい。
トレーニング中の破滅的な分布変化に対応するために,分類ネットワークを増強する2レベルフレームワークであるContinuous Bias Adaptor(CBA)を提示する。
本稿では,新しいタスクと古いタスクからクラスの後部確率を別々に集約し,結果として生じる後部確率に安定した調整を施した,クラスに依存しない新しいCBAモジュールを提案する。
- 参考スコア（独自算出の注目度）: 39.74441755776661
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In online continual learning (CL), models trained on changing distributions easily forget previously learned knowledge and bias toward newly received tasks. To address this issue, we present Continual Bias Adaptor (CBA), a bi-level framework that augments the classification network to adapt to catastrophic distribution shifts during training, enabling the network to achieve a stable consolidation of all seen tasks. However, the CBA module adjusts distribution shifts in a class-specific manner, exacerbating the stability gap issue and, to some extent, fails to meet the need for continual testing in online CL. To mitigate this challenge, we further propose a novel class-agnostic CBA module that separately aggregates the posterior probabilities of classes from new and old tasks, and applies a stable adjustment to the resulting posterior probabilities. We combine the two kinds of CBA modules into a unified Dual-CBA module, which thus is capable of adapting to catastrophic distribution shifts and simultaneously meets the real-time testing requirements of online CL. Besides, we propose Incremental Batch Normalization (IBN), a tailored BN module to re-estimate its population statistics for alleviating the feature bias arising from the inner loop optimization problem of our bi-level framework. To validate the effectiveness of the proposed method, we theoretically provide some insights into how it mitigates catastrophic distribution shifts, and empirically demonstrate its superiority through extensive experiments based on four rehearsal-based baselines and three public continual learning benchmarks.
- Abstract（参考訳）: オンライン連続学習(CL)では、分散の変化に訓練されたモデルは、新しく受け取ったタスクに対する学習した知識とバイアスを忘れやすい。
この問題に対処するために、トレーニング中に破滅的な分散シフトに対応するために分類ネットワークを増強し、ネットワークが全てのタスクを安定的に統合できるようにする2段階のフレームワークであるContinuous Bias Adaptor(CBA)を提案する。
しかし、CBAモジュールは、クラス固有の方法で分散シフトを調整し、安定性ギャップ問題を悪化させ、ある程度は、オンラインCLにおける継続的なテストの必要性を満たすことができない。
この課題を緩和するために、新しいタスクと古いタスクからクラスの後部確率を個別に集約し、結果として生じる後部確率に安定した調整を施した、クラスに依存しない新しいCBAモジュールを提案する。
2種類のCBAモジュールを統合されたDual-CBAモジュールと組み合わせることで、破滅的な分散シフトに対応でき、同時にオンラインCLのリアルタイムテスト要件を満たすことができる。
さらに,2レベルフレームワークの内ループ最適化問題から生じる特徴バイアスを軽減するために,その人口統計を再推定するためのBNモジュールであるインクリメンタルバッチ正規化(Incrmental Batch Normalization, IBN)を提案する。
提案手法の有効性を検証するため,提案手法は破滅的な分布シフトを緩和する方法を理論的に検証し,その優位性を4つのリハーサルベースラインと3つの公開連続学習ベンチマークに基づいて実証的に示す。
関連論文リスト
- Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。
我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。
極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
論文 参考訳（メタデータ） (2024-08-30T10:49:33Z) - Prior-free Balanced Replay: Uncertainty-guided Reservoir Sampling for Long-Tailed Continual Learning [8.191971407001034]
長い尾を持つデータストリームから、忘れることなく学習するための、新しいPBRフレームワークを提案する。
我々は、忘れる問題をさらに軽減するために、2つの事前自由なコンポーネントを組み込んだ。
提案手法は3つの標準長尾ベンチマークで評価される。
論文 参考訳（メタデータ） (2024-08-27T11:38:01Z) - Weakly Supervised Co-training with Swapping Assignments for Semantic Segmentation [21.345548821276097]
クラスアクティベーションマップ(CAM)は通常、擬似ラベルを生成するために弱教師付きセマンティックセマンティックセグメンテーション(WSSS)で使用される。
我々は、ガイド付きCAMを組み込んだエンドツーエンドWSSSモデルを提案し、CAMをオンラインで同時最適化しながらセグメンテーションモデルを訓練する。
CoSAは、追加の監督を持つものを含む、既存のマルチステージメソッドをすべて上回る、最初のシングルステージアプローチである。
論文 参考訳（メタデータ） (2024-02-27T21:08:23Z) - Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。
トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。
非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
論文 参考訳（メタデータ） (2023-12-27T15:06:36Z) - Overcoming Recency Bias of Normalization Statistics in Continual
Learning: Balance and Adaptation [67.77048565738728]
継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。
本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。
提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2023-10-13T04:50:40Z) - CBA: Improving Online Continual Learning via Continual Bias Adaptor [44.1816716207484]
本稿では,学習中の破滅的な分布変化に対応するために,分類器ネットワークを増強する連続バイアス適応器を提案する。
テスト段階では、CBAを削除できるため、追加のコストとメモリオーバーヘッドは発生しない。
提案手法が破滅的な分布変化を効果的に軽減できる理由を理論的に明らかにする。
論文 参考訳（メタデータ） (2023-08-14T04:03:51Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - Generalized Variational Continual Learning [33.194866396158005]
継続的学習の主なアプローチは、オンラインのElastic Weight Consolidationと変分連続学習である。
この修正により、オンラインEWCを制限ケースとして緩和し、2つのアプローチ間のベースラインを確保できることを示す。
VIのオーバープルーニング効果を観測するために、共通マルチタスクアーキテクチャからインスピレーションを得て、タスク固有のFiLM層によるニューラルネットワークを緩和する。
論文 参考訳（メタデータ） (2020-11-24T19:07:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。