論文の概要: Continual Normalization: Rethinking Batch Normalization for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2203.16102v1
• Date: Wed, 30 Mar 2022 07:23:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 23:57:23.600618
• Title: Continual Normalization: Rethinking Batch Normalization for Online Continual Learning
• Title（参考訳）: 連続正規化: オンライン連続学習のためのバッチ正規化再考
• Authors: Quang Pham, Chenghao Liu, Steven Hoi
• Abstract要約: オンライン連続学習におけるバッチ正規化(BN)のクロスタスク正規化効果について検討した。 BNは、現在のタスクに偏ったモーメントを使用してテストデータを正規化し、破滅的な忘れを生じさせる。 本研究は, BNに類似したトレーニングを促進するために, 負の効果を緩和しつつ, 連続正規化(CN)を提案する。
• 参考スコア（独自算出の注目度）: 21.607816915609128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing continual learning methods use Batch Normalization (BN) to facilitate training and improve generalization across tasks. However, the non-i.i.d and non-stationary nature of continual learning data, especially in the online setting, amplify the discrepancy between training and testing in BN and hinder the performance of older tasks. In this work, we study the cross-task normalization effect of BN in online continual learning where BN normalizes the testing data using moments biased towards the current task, resulting in higher catastrophic forgetting. This limitation motivates us to propose a simple yet effective method that we call Continual Normalization (CN) to facilitate training similar to BN while mitigating its negative effect. Extensive experiments on different continual learning algorithms and online scenarios show that CN is a direct replacement for BN and can provide substantial performance improvements. Our implementation is available at \url{https://github.com/phquang/Continual-Normalization}.
• Abstract（参考訳）: 既存の連続学習手法では、バッチ正規化(BN)を使用して、タスク間のトレーニングと一般化を改善する。 しかし、継続学習データの非非非定常的性質、特にオンライン環境では、BNにおけるトレーニングとテストの相違を増幅し、古いタスクのパフォーマンスを阻害する。 本研究では、bnが現在のタスクに偏りのあるモーメントを用いてテストデータを正規化するオンライン連続学習におけるbnのクロスタスク正規化効果について検討し、その結果、破滅的な忘れることを引き起こす。 この制限は、BNに類似したトレーニングを容易にするために、CN(Continuous Normalization)と呼ばれる単純で効果的な方法を提案する動機となっている。 異なる連続学習アルゴリズムとオンラインシナリオに関する大規模な実験は、CNがBNの直接置換であり、大幅な性能改善をもたらすことを示している。 我々の実装は \url{https://github.com/phquang/Continual-Normalization} で利用可能です。

関連論文リスト

• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• An Adaptive Batch Normalization in Deep Learning [0.0]
  バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。 本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T12:12:56Z)
• Understanding the Failure of Batch Normalization for Transformers in NLP [16.476194435004732]
  バッチ正規化(BN)は、ディープニューラルネットワークのトレーニングを加速する技術である。 BNは、レイヤ正規化(LN)が支配する自然言語処理(NLP)において、その位置を守らない 正規化BN(RBN)はBNの性能を一貫して改善し、20設定中17設定でLNと同等または同等である。
  論文  参考訳（メタデータ） (2022-10-11T05:18:47Z)
• Rebalancing Batch Normalization for Exemplar-based Class-Incremental Learning [23.621259845287824]
  バッチ正規化(BN)は、様々なコンピュータビジョンタスクにおけるニューラルネットに対して広く研究されている。 我々はBNの新しい更新パッチを開発し、特にCIL(Exemplar-based class-incremental Learning)に特化している。
  論文  参考訳（メタデータ） (2022-01-29T11:03:03Z)
• Batch Normalization Preconditioning for Neural Network Training [7.709342743709842]
  バッチ正規化(BN)は、ディープラーニングにおいて一般的でユビキタスな手法である。 BNは、非常に小さなミニバッチサイズやオンライン学習での使用には適していない。 BNP(Batch Normalization Preconditioning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-02T18:17:26Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。