論文の概要: Diagnosing Batch Normalization in Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2202.08025v1
• Date: Wed, 16 Feb 2022 12:38:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-02-17 14:24:04.549535
• Title: Diagnosing Batch Normalization in Class Incremental Learning
• Title（参考訳）: 授業増分学習におけるバッチ正規化の診断
• Authors: Minghao Zhou, Quanziang Wang, Jun Shu, Qian Zhao, Deyu Meng
• Abstract要約: バッチ正規化(BN)は中間特徴写像を標準化し、訓練安定性と収束性を改善するために広く検証されている。 分類バイアスを排除しつつ,より優れた特徴抽出器を訓練することにより,この問題に対処するBN Tricksを提案する。 BN Tricksが採用されているすべてのベースラインに大幅なパフォーマンス向上をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 39.70552266952221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extensive researches have applied deep neural networks (DNNs) in class incremental learning (Class-IL). As building blocks of DNNs, batch normalization (BN) standardizes intermediate feature maps and has been widely validated to improve training stability and convergence. However, we claim that the direct use of standard BN in Class-IL models is harmful to both the representation learning and the classifier training, thus exacerbating catastrophic forgetting. In this paper we investigate the influence of BN on Class-IL models by illustrating such BN dilemma. We further propose BN Tricks to address the issue by training a better feature extractor while eliminating classification bias. Without inviting extra hyperparameters, we apply BN Tricks to three baseline rehearsal-based methods, ER, DER++ and iCaRL. Through comprehensive experiments conducted on benchmark datasets of Seq-CIFAR-10, Seq-CIFAR-100 and Seq-Tiny-ImageNet, we show that BN Tricks can bring significant performance gains to all adopted baselines, revealing its potential generality along this line of research.
• Abstract（参考訳）: 広範な研究がクラスインクリメンタル学習(class-il)にディープニューラルネットワーク(dnn)を適用している。 DNNのビルディングブロックとして、バッチ正規化(BN)は中間特徴写像を標準化し、訓練安定性と収束性を改善するために広く検証されている。 しかし、クラス-ILモデルにおける標準BNの直接使用は、表現学習と分類器訓練の両方に有害であり、破滅的な忘れを悪化させる。 本稿では,クラス-ILモデルに対するBNの影響について検討する。 さらに,分類バイアスを排除しつつ,より優れた特徴抽出器を訓練することでこの問題に対処するBN Tricksを提案する。 余分なハイパーパラメーターを使わずに、BN Tricksを3つのベースラインリハーサルベースのメソッド、ER、DER++、iCaRLに適用する。 seq-cifar-10,seq-cifar-100およびseq-tiny-imagenetのベンチマークデータセットで行った包括的な実験を通じて、bnトリックが採用されているすべてのベースラインに大幅なパフォーマンス向上をもたらすことを示し、この研究ラインに沿った潜在的な汎用性を明らかにする。

関連論文リスト

• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• An Adaptive Batch Normalization in Deep Learning [0.0]
  バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。 本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T12:12:56Z)
• Understanding the Failure of Batch Normalization for Transformers in NLP [16.476194435004732]
  バッチ正規化(BN)は、ディープニューラルネットワークのトレーニングを加速する技術である。 BNは、レイヤ正規化(LN)が支配する自然言語処理(NLP)において、その位置を守らない 正規化BN(RBN)はBNの性能を一貫して改善し、20設定中17設定でLNと同等または同等である。
  論文  参考訳（メタデータ） (2022-10-11T05:18:47Z)
• Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness [15.395021925719817]
  バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。 BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。 本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T16:16:24Z)
• Rebalancing Batch Normalization for Exemplar-based Class-Incremental Learning [23.621259845287824]
  バッチ正規化(BN)は、様々なコンピュータビジョンタスクにおけるニューラルネットに対して広く研究されている。 我々はBNの新しい更新パッチを開発し、特にCIL(Exemplar-based class-incremental Learning)に特化している。
  論文  参考訳（メタデータ） (2022-01-29T11:03:03Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。