論文の概要: The Unreasonable Effectiveness of the Final Batch Normalization Layer
- arxiv url: http://arxiv.org/abs/2109.09016v1
- Date: Sat, 18 Sep 2021 21:19:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-23 09:04:38.781824
- Title: The Unreasonable Effectiveness of the Final Batch Normalization Layer
- Title（参考訳）: 最終バッチ正規化層の不当な有効性
- Authors: Veysel Kocaman, Ofer M. Shir, Thomas Baeck
- Abstract要約: 初期の病気の徴候は、農業や医療といった現実世界の領域ではほとんど記録されていない。
本研究では,Cocamanらによる2020年の研究を拡張し,ソフトマックス出力層の前に配置されたBN層が,高不均衡な画像分類問題にかなりの影響を及ぼすことを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Early-stage disease indications are rarely recorded in real-world domains,
such as Agriculture and Healthcare, and yet, their accurate identification is
critical in that point of time. In this type of highly imbalanced
classification problems, which encompass complex features, deep learning (DL)
is much needed because of its strong detection capabilities. At the same time,
DL is observed in practice to favor majority over minority classes and
consequently suffer from inaccurate detection of the targeted early-stage
indications. In this work, we extend the study done by Kocaman et al., 2020,
showing that the final BN layer, when placed before the softmax output layer,
has a considerable impact in highly imbalanced image classification problems as
well as undermines the role of the softmax outputs as an uncertainty measure.
This current study addresses additional hypotheses and reports on the following
findings: (i) the performance gain after adding the final BN layer in highly
imbalanced settings could still be achieved after removing this additional BN
layer in inference; (ii) there is a certain threshold for the imbalance ratio
upon which the progress gained by the final BN layer reaches its peak; (iii)
the batch size also plays a role and affects the outcome of the final BN
application; (iv) the impact of the BN application is also reproducible on
other datasets and when utilizing much simpler neural architectures; (v) the
reported BN effect occurs only per a single majority class and multiple
minority classes i.e., no improvements are evident when there are two majority
classes; and finally, (vi) utilizing this BN layer with sigmoid activation has
almost no impact when dealing with a strongly imbalanced image classification
tasks.
- Abstract（参考訳）: 農業や医療といった現実世界の領域では早期の病気の徴候が記録されることはほとんどないが、その時点では正確な同定が重要である。
複雑な特徴を包含する高不均衡な分類問題では,検出能力の強い深層学習(DL)が不可欠である。
同時に、DLは少数層よりも多数派を優先し、その結果、ターゲットとした早期の表示の不正確な検出に悩まされる。
本研究では,Cocamanらによる2020年の研究を拡張し,ソフトマックス出力層の前に配置されたBN層が,高不均衡な画像分類問題にかなりの影響を与え,ソフトマックス出力が不確実性指標としての役割を損なうことを示した。
本研究は,以下の知見に関する追加仮説と報告について述べる。
(i)この追加BN層を推論で除去した後も、最終BN層を高度に不均衡な設定で付加した後のパフォーマンス向上が達成できる。
(ii)最終bn層で得られた進捗がピークに達する不均衡比の一定のしきい値がある。
(iii) バッチサイズも役割を担い、最終bn出願の結果に影響する。
(iv)BNアプリケーションの影響は、他のデータセットやより単純な神経アーキテクチャを利用する場合にも再現可能である。
(v)報告されたbn効果は、単一の多数派クラスと複数の少数派クラス、すなわち2つの多数派クラスがある場合の改善がない場合にのみ発生する。
(vi) このBN層とシグモイド活性化を併用すると, 強い不均衡な画像分類タスクにはほとんど影響を与えない。
関連論文リスト
- Neural Collapse Meets Differential Privacy: Curious Behaviors of NoisyGD with Near-perfect Representation Learning [36.954726737451224]
本稿では,表現学習における階層型モデルの設定について考察し,深層学習と伝達学習における学習特徴に関連する興味深い現象について考察する。
DPの微調整はDPのない微調整に比べ、特に摂動の存在下では堅牢性が低いことを示す。
論文 参考訳（メタデータ） (2024-05-14T19:18:19Z) - Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。
Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。
トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
論文 参考訳（メタデータ） (2024-04-15T21:02:48Z) - Robustness May be More Brittle than We Think under Different Degrees of
Distribution Shifts [72.90906474654594]
分散シフトの度合いが異なる場合、モデルの堅牢性はかなり不安定で不整合であることを示す。
我々は,CLIPのような大規模事前学習モデルが,新しい下流タスクの分分分布シフトに敏感であることが観察された。
論文 参考訳（メタデータ） (2023-10-10T13:39:18Z) - Towards Understanding Neural Collapse: The Effects of Batch Normalization and Weight Decay [0.6813925418351435]
ニューラル・コラプス(Neural Collapse, NC)は、深層ニューラルネットワークの終端で最近観測された幾何学的構造である。
我々は,バッチ正規化(BN)と重量減衰(WD)がNCの出現に重大な影響を及ぼすことを示した。
実験では, モデルがBN, 適切なWD値, 損失の低減, 最終層特徴ノルムの低下により, NCの存在感が強くなることを示した。
論文 参考訳（メタデータ） (2023-09-09T00:05:45Z) - Diagnosing Batch Normalization in Class Incremental Learning [39.70552266952221]
バッチ正規化(BN)は中間特徴写像を標準化し、訓練安定性と収束性を改善するために広く検証されている。
分類バイアスを排除しつつ,より優れた特徴抽出器を訓練することにより,この問題に対処するBN Tricksを提案する。
BN Tricksが採用されているすべてのベースラインに大幅なパフォーマンス向上をもたらすことを示す。
論文 参考訳（メタデータ） (2022-02-16T12:38:43Z) - Constrained Optimization for Training Deep Neural Networks Under Class
Imbalance [9.557146081524008]
ROC曲線の下で最大領域を強制するために、既存の損失関数で使用できる新しい制約を紹介します。
CIFAR10と社内医療画像データセットを用いた画像分類アプリケーションの実験結果を提示する。
論文 参考訳（メタデータ） (2021-02-21T09:49:36Z) - Improving Model Accuracy for Imbalanced Image Classification Tasks by
Adding a Final Batch Normalization Layer: An Empirical Study [2.9005223064604078]
農業や医療分野の複雑な分類問題には、ディープラーニング(DL)が必要である。
DLは、実際には少数層よりも多数派を優先し、その結果、ターゲットとする早期の表示の不正確な検出に苦しむ。
最新のCNNアーキテクチャでは,出力層の前にBN層を追加することで,少数クラスに対するトレーニング時間とテスト誤差の最小化にかなりの影響があることが示されている。
論文 参考訳（メタデータ） (2020-11-12T11:27:40Z) - MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch
Normalization [60.36100335878855]
ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。
我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。
MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
論文 参考訳（メタデータ） (2020-10-19T07:42:41Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - The Break-Even Point on Optimization Trajectories of Deep Neural
Networks [64.7563588124004]
この軌道上の「破滅的な」点の存在を論じる。
トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。
また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
論文 参考訳（メタデータ） (2020-02-21T22:55:51Z) - Towards Stabilizing Batch Statistics in Backward Propagation of Batch
Normalization [126.6252371899064]
移動平均バッチ正規化(MABN)は,新しい正規化法である。
小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。
実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
論文 参考訳（メタデータ） (2020-01-19T14:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。