論文の概要: Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework

• arxiv url: http://arxiv.org/abs/2311.15993v2
• Date: Fri, 8 Mar 2024 09:12:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 23:05:57.349470
• Title: Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework
• Title（参考訳）: 統一バッチ正規化: バッチ正規化における特徴凝縮の同定と緩和と統一フレームワーク
• Authors: Shaobo Wang, Xiangdong Zhang, Dongrui Liu, Junchi Yan
• Abstract要約: バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
• 参考スコア（独自算出の注目度）: 55.22949690864962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch Normalization (BN) has become an essential technique in contemporary neural network design, enhancing training stability. Specifically, BN employs centering and scaling operations to standardize features along the batch dimension and uses an affine transformation to recover features. Although standard BN has shown its capability to improve deep neural network training and convergence, it still exhibits inherent limitations in certain cases. Current enhancements to BN typically address only isolated aspects of its mechanism. In this work, we critically examine BN from a feature perspective, identifying feature condensation during BN as a detrimental factor to test performance. To tackle this problem, we propose a two-stage unified framework called Unified Batch Normalization (UBN). In the first stage, we employ a straightforward feature condensation threshold to mitigate condensation effects, thereby preventing improper updates of statistical norms. In the second stage, we unify various normalization variants to boost each component of BN. Our experimental results reveal that UBN significantly enhances performance across different visual backbones and different vision tasks, and notably expedites network training convergence, particularly in early training stages. Notably, our method improved about 3% in accuracy on ImageNet classification and 4% in mean average precision on both Object Detection and Instance Segmentation on COCO dataset, showing the effectiveness of our approach in real-world scenarios.
• Abstract（参考訳）: バッチ正規化(BN)は、現代のニューラルネットワーク設計において不可欠な技術となり、トレーニングの安定性を高めている。 特にbnは、バッチ次元に沿って機能を標準化するためにセンタリングとスケーリング操作を採用し、アフィン変換を使用して機能を復元する。 標準BNは、ディープニューラルネットワークトレーニングと収束を改善する能力を示しているが、特定のケースには固有の制限がある。 BNの現在の拡張は通常、そのメカニズムの孤立した側面にのみ対処する。 本研究では,機能の観点からBNを批判的に検討し,BN中の特徴凝縮をテスト性能の劣化要因として同定する。 この問題に対処するため,Unified Batch Normalization (UBN) と呼ばれる2段階の統合フレームワークを提案する。 第1段階では,素直な特徴凝縮閾値を用いて凝縮効果を緩和し,統計的規範の不適切な更新を防止する。 第2段階では、種々の正規化変種を統一し、BNの各成分を増強する。 実験の結果,udnは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを著しく向上させ,特に初期トレーニング段階におけるネットワークトレーニングの収束を早めていることが明らかとなった。 特に,イメージネット分類では約3%,COCOデータセットではオブジェクト検出とインスタンス分割の両方の平均精度が4%向上し,実際のシナリオにおけるアプローチの有効性が示された。

関連論文リスト

• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• Patch-aware Batch Normalization for Improving Cross-domain Robustness [55.06956781674986]
  クロスドメインタスクは、トレーニングセットとテストセットが異なるディストリビューションに従うと、モデルのパフォーマンスが低下する課題を示す。 パッチ対応バッチ正規化(PBN)と呼ばれる新しい手法を提案する。 画像の局所的なパッチの違いを利用して、提案したPBNはモデルパラメータの堅牢性を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-04-06T03:25:42Z)
• An Adaptive Batch Normalization in Deep Learning [0.0]
  バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。 本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T12:12:56Z)
• Batch Normalization Explained [31.66311831317311]
  バッチ正規化(BN)により、DN学習と推論性能が向上することを示す。 BNは、DNのスプライン分割の幾何学をデータに適合させる教師なし学習技術である。 また,ミニバッチ間のBN統計量の変動は,分割境界にランダムな乱摂動をもたらすことを示した。
  論文  参考訳（メタデータ） (2022-09-29T13:41:27Z)
• Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness [15.395021925719817]
  バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。 BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。 本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T16:16:24Z)
• Rebalancing Batch Normalization for Exemplar-based Class-Incremental Learning [23.621259845287824]
  バッチ正規化(BN)は、様々なコンピュータビジョンタスクにおけるニューラルネットに対して広く研究されている。 我々はBNの新しい更新パッチを開発し、特にCIL(Exemplar-based class-incremental Learning)に特化している。
  論文  参考訳（メタデータ） (2022-01-29T11:03:03Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。