論文の概要: Task-Balanced Batch Normalization for Exemplar-based Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2201.12559v1
• Date: Sat, 29 Jan 2022 11:03:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 15:44:04.109956
• Title: Task-Balanced Batch Normalization for Exemplar-based Class-Incremental Learning
• Title（参考訳）: 経験的クラスインクリメンタル学習のためのタスクベースバッチ正規化
• Authors: Sungmin Cha, Soonwon Hong, Moontae Lee, and Taesup Moon
• Abstract要約: バッチ正規化(BN)は、様々なコンピュータビジョンタスクでニューラルネットワークモデルをトレーニングするための必須レイヤである。 我々はBNを慎重に適用すべきであることを示しており、特にメモリベースの模範クラスインクリメンタルラーニング(CIL)において示している。 本稿では,タスクベースバッチ正規化(TBBN)を提案する。
• 参考スコア（独自算出の注目度）: 25.02407331311937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch Normalization (BN) is an essential layer for training neural network models in various computer vision tasks. It has been widely used in continual learning scenarios with little discussion, but we find that BN should be carefully applied, particularly for the exemplar memory based class incremental learning (CIL). We first analyze that the empirical mean and variance obtained for normalization in a BN layer become highly biased toward the current task. To tackle its significant problems in training and test phases, we propose Task-Balanced Batch Normalization (TBBN). Given each mini-batch imbalanced between the current and previous tasks, TBBN first reshapes and repeats the batch, calculating near task-balanced mean and variance. Second, we show that when the affine transformation parameters of BN are learned from a reshaped feature map, they become less-biased toward the current task. Based on our extensive CIL experiments with CIFAR-100 and ImageNet-100 datasets, we demonstrate that our TBBN is easily applicable to most of existing exemplar-based CIL algorithms, improving their performance by decreasing the forgetting on the previous tasks.
• Abstract（参考訳）: バッチ正規化(BN)は、様々なコンピュータビジョンタスクでニューラルネットワークモデルをトレーニングするための必須レイヤである。 これは、ほとんど議論することなく、継続的な学習シナリオで広く使われてきたが、bnは慎重に適用されるべきであり、特に、メモリベースクラスインクリメンタル学習(cil)の例である。 まず,BN層における正規化における経験的平均と分散が,現在の課題に対して高い偏りを呈することを示した。 トレーニングとテストフェーズにおいて重要な問題に対処するために,タスクベースバッチ正規化(TBBN)を提案する。 各ミニバッチが現在のタスクと前のタスクの間で不均衡になっていることを前提として、TBBNはまず、タスクバランスに近い平均と分散を計算し、バッチを繰り返す。 次に, BN のアフィン変換パラメータが, 形状変化した特徴写像から学習されると, 現在の課題に対してバイアスが小さくなることを示す。 cifar-100とimagenet-100データセットを用いた広範なcil実験に基づいて、当社のtbbnが既存のexemplarベースのcilアルゴリズムの多くに容易に適用可能であることを実証し、これまでのタスクの忘れ込みを低減し、パフォーマンスを改善した。

関連論文リスト

• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• An Adaptive Batch Normalization in Deep Learning [0.0]
  バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。 本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T12:12:56Z)
• Diagnosing Batch Normalization in Class Incremental Learning [39.70552266952221]
  バッチ正規化(BN)は中間特徴写像を標準化し、訓練安定性と収束性を改善するために広く検証されている。 分類バイアスを排除しつつ,より優れた特徴抽出器を訓練することにより,この問題に対処するBN Tricksを提案する。 BN Tricksが採用されているすべてのベースラインに大幅なパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-02-16T12:38:43Z)
• Revisiting Batch Normalization [0.0]
  バッチ正規化(BN)は、ディープニューラルネットワークのトレーニングに不可欠である。 我々は、BNの定式化を再検討し、上記の問題に対処するために、BNの新しい方法と更新アプローチを提案する。 提案手法をBNに変更した実験結果は,様々なシナリオにおいて統計的に有意な性能向上を示した。 また、オンラインBNベースの入力データ正規化手法を提案し、他のオフラインや固定メソッドの必要性を軽減する。
  論文  参考訳（メタデータ） (2021-10-26T19:48:19Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。