論文の概要: BCN: Batch Channel Normalization for Image Classification

• arxiv url: http://arxiv.org/abs/2312.00596v1
• Date: Fri, 1 Dec 2023 14:01:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 14:34:49.298453
• Title: BCN: Batch Channel Normalization for Image Classification
• Title（参考訳）: BCN: 画像分類のためのバッチチャネル正規化
• Authors: Afifa Khaled, Chao Li, Jia Ning, Kun He
• Abstract要約: 本稿では,Batch Channel Normalization (BCN) と呼ばれる新しい正規化手法を提案する。 基本的なブロックとして、BCNはコンピュータビジョンの分野で様々な用途のために既存のモデルに容易に統合できる。
• 参考スコア（独自算出の注目度）: 13.262032378453073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalization techniques have been widely used in the field of deep learning due to their capability of enabling higher learning rates and are less careful in initialization. However, the effectiveness of popular normalization technologies is typically limited to specific areas. Unlike the standard Batch Normalization (BN) and Layer Normalization (LN), where BN computes the mean and variance along the (N,H,W) dimensions and LN computes the mean and variance along the (C,H,W) dimensions (N, C, H and W are the batch, channel, spatial height and width dimension, respectively), this paper presents a novel normalization technique called Batch Channel Normalization (BCN). To exploit both the channel and batch dependence and adaptively and combine the advantages of BN and LN based on specific datasets or tasks, BCN separately normalizes inputs along the (N, H, W) and (C, H, W) axes, then combines the normalized outputs based on adaptive parameters. As a basic block, BCN can be easily integrated into existing models for various applications in the field of computer vision. Empirical results show that the proposed technique can be seamlessly applied to various versions of CNN or Vision Transformer architecture. The code is publicly available at https://github.com/AfifaKhaled/BatchChannel-Normalization
• Abstract（参考訳）: 正規化技術は、高い学習率を実現し、初期化にはあまり注意を払わないため、ディープラーニングの分野で広く用いられている。 しかし、一般的な正規化技術の有効性は通常特定の領域に限られる。 標準バッチ正規化(BN)やレイヤ正規化(LN)とは異なり、BNは(N,H,W)次元に沿った平均と分散を計算し、LNは(C,H,W)次元に沿った平均と分散を計算する(N,C,H,Wはそれぞれバッチ、チャネル、空間高さ、幅寸法である)。 チャネル依存とバッチ依存の両方を適応的に利用し、特定のデータセットやタスクに基づいてBNとLNの利点を組み合わせるために、BCNは(N, H, W)と(C, H, W)軸に沿って入力を別々に正規化し、適応パラメータに基づいて正規化された出力を組み合わせる。 基本的なブロックとして、BCNはコンピュータビジョンの分野で様々な用途のために既存のモデルに容易に統合できる。 実験の結果,提案手法はcnnや視覚トランスフォーマーアーキテクチャの様々なバージョンにシームレスに適用できることがわかった。 コードはhttps://github.com/AfifaKhaled/BatchChannel-Normalizationで公開されている。

関連論文リスト

• Exploring the Efficacy of Group-Normalization in Deep Learning Models for Alzheimer's Disease Classification [2.6447365674762273]
  群正規化はバッチ正規化の代替となる。 GNはバッチ正規化と比較して非常に低い10.6%の誤差率を達成する。
  論文  参考訳（メタデータ） (2024-04-01T06:10:11Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Batch Layer Normalization, A new normalization layer for CNNs and RNN [0.0]
  本研究では, Batch Layer Normalization (BLN) と呼ばれる新しい正規化層を導入する。 バッチとレイヤの正規化の組み合わせとして、BLNはミニバッチの逆サイズに基づいて、最小バッチと特徴正規化を適切に重み付けする。 実験結果は,畳み込みニューラルネットワークと反復ニューラルネットワークの両方におけるBLNの適用ポテンシャルと,バッチ正規化および層正規化よりも高速な収束性を示す。
  論文  参考訳（メタデータ） (2022-09-19T10:12:51Z)
• Revisiting Batch Normalization [0.0]
  バッチ正規化(BN)は、ディープニューラルネットワークのトレーニングに不可欠である。 我々は、BNの定式化を再検討し、上記の問題に対処するために、BNの新しい方法と更新アプローチを提案する。 提案手法をBNに変更した実験結果は,様々なシナリオにおいて統計的に有意な性能向上を示した。 また、オンラインBNベースの入力データ正規化手法を提案し、他のオフラインや固定メソッドの必要性を軽減する。
  論文  参考訳（メタデータ） (2021-10-26T19:48:19Z)
• Batch Group Normalization [45.03388237812212]
  バッチ正規化(BN)は中規模および大規模なバッチサイズでよく機能する。 BNは、ノイズ/畳み込み統計計算により、小さな/非常に大きなバッチサイズで飽和する。 BGN は小・極大バッチサイズでの BN の雑音/畳み込み統計計算を解くために提案される。
  論文  参考訳（メタデータ） (2020-12-04T18:57:52Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)
• Cross-Iteration Batch Normalization [67.83430009388678]
  本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
  論文  参考訳（メタデータ） (2020-02-13T18:52:57Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)
• Region Normalization for Image Inpainting [52.17610250998762]
  特徴正規化(英: Feature Normalization, FN)は、ニューラルネットワークのトレーニングを支援する重要な技術である。 本研究は,フル空間FNによる平均変化と分散変化が,ネットワークトレーニングに影響を及ぼすイメージを制限していることを示す。 本研究では,領域正規化(RN)と呼ばれる空間領域正規化を提案し,その限界を克服する。
  論文  参考訳（メタデータ） (2019-11-23T15:16:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。