論文の概要: Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation

• arxiv url: http://arxiv.org/abs/2310.08855v1
• Date: Fri, 13 Oct 2023 04:50:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 14:22:50.528075
• Title: Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation
• Title（参考訳）: 連続学習における正規化統計の帰納バイアスの克服--バランスと適応
• Authors: Yilin Lyu, Liyuan Wang, Xingxing Zhang, Zicheng Sun, Hang Su, Jun Zhu, Liping Jing
• Abstract要約: 継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
• 参考スコア（独自算出の注目度）: 67.77048565738728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning entails learning a sequence of tasks and balancing their knowledge appropriately. With limited access to old training samples, much of the current work in deep neural networks has focused on overcoming catastrophic forgetting of old tasks in gradient-based optimization. However, the normalization layers provide an exception, as they are updated interdependently by the gradient and statistics of currently observed training samples, which require specialized strategies to mitigate recency bias. In this work, we focus on the most popular Batch Normalization (BN) and provide an in-depth theoretical analysis of its sub-optimality in continual learning. Our analysis demonstrates the dilemma between balance and adaptation of BN statistics for incremental tasks, which potentially affects training stability and generalization. Targeting on these particular challenges, we propose Adaptive Balance of BN (AdaB$^2$N), which incorporates appropriately a Bayesian-based strategy to adapt task-wise contributions and a modified momentum to balance BN statistics, corresponding to the training and testing stages. By implementing BN in a continual learning fashion, our approach achieves significant performance gains across a wide range of benchmarks, particularly for the challenging yet realistic online scenarios (e.g., up to 7.68%, 6.86% and 4.26% on Split CIFAR-10, Split CIFAR-100 and Split Mini-ImageNet, respectively). Our code is available at https://github.com/lvyilin/AdaB2N.
• Abstract（参考訳）: 継続的な学習は一連のタスクを学習し、その知識を適切にバランスさせる。 古いトレーニングサンプルへのアクセスが限られているため、ディープニューラルネットワークにおける現在の作業の多くは、勾配ベースの最適化における古いタスクの破滅的な忘れを克服することに重点を置いている。 しかし、正規化層は、現在観測されているトレーニングサンプルの勾配と統計によって相互依存的に更新されるため、正規化層は例外を提供する。 本研究では,最もポピュラーなバッチ正規化(BN)に注目し,連続学習におけるその準最適性の詳細な理論的解析を行う。 本稿では,bn統計のバランスと適応のジレンマが,学習の安定性や一般化に影響を及ぼす可能性を示唆する。 これらの課題をターゲットとして,タスクワイド・コントリビューションに適応するためのベイズ的戦略と,トレーニングおよびテスト段階に応じたBN統計のバランスを取るための修正モーメントを適切に組み込んだBN適応バランス(AdaB$^2$N)を提案する。 BNを継続的な学習方式で実装することで、我々のアプローチは幅広いベンチマーク、特に挑戦的かつ現実的なオンラインシナリオ(例えば、Split CIFAR-10、Split CIFAR-100、Split Mini-ImageNetで最大7.68%、最大6.86%、および4.26%)において、大幅なパフォーマンス向上を実現している。 私たちのコードはhttps://github.com/lvyilin/adab2nで利用可能です。

関連論文リスト

• Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
  実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。 クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。 バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-05T05:52:44Z)
• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• An Adaptive Batch Normalization in Deep Learning [0.0]
  バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。 本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T12:12:56Z)
• Test-time Batch Normalization [61.292862024903584]
  ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。 トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。 本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
  論文  参考訳（メタデータ） (2022-05-20T14:33:39Z)
• Continual Normalization: Rethinking Batch Normalization for Online Continual Learning [21.607816915609128]
  オンライン連続学習におけるバッチ正規化(BN)のクロスタスク正規化効果について検討した。 BNは、現在のタスクに偏ったモーメントを使用してテストデータを正規化し、破滅的な忘れを生じさせる。 本研究は, BNに類似したトレーニングを促進するために, 負の効果を緩和しつつ, 連続正規化(CN)を提案する。
  論文  参考訳（メタデータ） (2022-03-30T07:23:24Z)
• Diagnosing Batch Normalization in Class Incremental Learning [39.70552266952221]
  バッチ正規化(BN)は中間特徴写像を標準化し、訓練安定性と収束性を改善するために広く検証されている。 分類バイアスを排除しつつ,より優れた特徴抽出器を訓練することにより,この問題に対処するBN Tricksを提案する。 BN Tricksが採用されているすべてのベースラインに大幅なパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-02-16T12:38:43Z)
• Rebalancing Batch Normalization for Exemplar-based Class-Incremental Learning [23.621259845287824]
  バッチ正規化(BN)は、様々なコンピュータビジョンタスクにおけるニューラルネットに対して広く研究されている。 我々はBNの新しい更新パッチを開発し、特にCIL(Exemplar-based class-incremental Learning)に特化している。
  論文  参考訳（メタデータ） (2022-01-29T11:03:03Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。