論文の概要: Exploring the Efficacy of Group-Normalization in Deep Learning Models for Alzheimer's Disease Classification

• arxiv url: http://arxiv.org/abs/2404.00946v1
• Date: Mon, 1 Apr 2024 06:10:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 23:06:39.391397
• Title: Exploring the Efficacy of Group-Normalization in Deep Learning Models for Alzheimer's Disease Classification
• Title（参考訳）: アルツハイマー病分類のための深層学習モデルにおけるグループNormalizationの有効性の検討
• Authors: Gousia Habib, Ishfaq Ahmed Malik, Jameel Ahmad, Imtiaz Ahmed, Shaima Qureshi,
• Abstract要約: 群正規化はバッチ正規化の代替となる。 GNはバッチ正規化と比較して非常に低い10.6%の誤差率を達成する。
• 参考スコア（独自算出の注目度）: 2.6447365674762273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch Normalization is an important approach to advancing deep learning since it allows multiple networks to train simultaneously. A problem arises when normalizing along the batch dimension because B.N.'s error increases significantly as batch size shrinks because batch statistics estimates are inaccurate. As a result, computer vision tasks like detection, segmentation, and video, which require tiny batches based on memory consumption, aren't suitable for using Batch Normalization for larger model training and feature transfer. Here, we explore Group Normalization as an easy alternative to using Batch Normalization A Group Normalization is a channel normalization method in which each group is divided into different channels, and the corresponding mean and variance are calculated for each group. Group Normalization computations are accurate across a wide range of batch sizes and are independent of batch size. When trained using a large ImageNet database on ResNet-50, GN achieves a very low error rate of 10.6% compared to Batch Normalization. when a smaller batch size of only 2 is used. For usual batch sizes, the performance of G.N. is comparable to that of Batch Normalization, but at the same time, it outperforms other normalization techniques. Implementing Group Normalization as a direct alternative to B.N to combat the serious challenges faced by the Batch Normalization in deep learning models with comparable or improved classification accuracy. Additionally, Group Normalization can be naturally transferred from the pre-training to the fine-tuning phase. .
• Abstract（参考訳）: バッチ正規化は、複数のネットワークを同時にトレーニングできるため、ディープラーニングを進めるための重要なアプローチである。 B.N.の誤差は、バッチ統計が不正確であるため、バッチサイズが小さくなるにつれて著しく増加するので、バッチ次元に沿って正規化する際に問題が発生する。 その結果、メモリ消費に基づいた小さなバッチを必要とする検出、セグメンテーション、ビデオなどのコンピュータビジョンタスクは、より大きなモデルトレーニングと機能転送にバッチ正規化を使用するには適していない。 ここでは,グループ正規化をバッチ正規化に代わる簡単な方法として検討する。グループ正規化とは,各グループを異なるチャネルに分割し,対応する平均と分散を計算するチャネル正規化手法である。 グループ正規化計算は幅広いバッチサイズで正確であり、バッチサイズとは無関係である。 ResNet-50で大規模なImageNetデータベースを使用してトレーニングすると、GNはバッチ正規化と比較して非常に低い10.6%のエラー率を達成する。 小さいバッチサイズが 2 個しか使われていない場合です 通常のバッチサイズでは、G.N.の性能はバッチ正規化に匹敵するが、同時に他の正規化技術よりも優れている。 グループ正規化をB.Nの直接的な代替として実装し、分類精度が同等または改善されたディープラーニングモデルにおいて、バッチ正規化が直面する深刻な課題に対処する。 さらに、群正規化は、事前訓練から微調整フェーズへ自然に移行することができる。 と。

関連論文リスト

• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Zero-Shot Anomaly Detection via Batch Normalization [58.291409630995744]
  多くの安全クリティカルなアプリケーションドメインでは、異常検出が重要な役割を果たす。 異常検出器を正常なデータ分布でドリフトに適応させることの課題は、ゼロショットAD技術の開発に繋がった。 ゼロショットバッチレベルのADに対して,適応中心表現(Adaptive Centered Representation, ACR)と呼ばれるシンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-02-15T18:34:15Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Batch Layer Normalization, A new normalization layer for CNNs and RNN [0.0]
  本研究では, Batch Layer Normalization (BLN) と呼ばれる新しい正規化層を導入する。 バッチとレイヤの正規化の組み合わせとして、BLNはミニバッチの逆サイズに基づいて、最小バッチと特徴正規化を適切に重み付けする。 実験結果は,畳み込みニューラルネットワークと反復ニューラルネットワークの両方におけるBLNの適用ポテンシャルと,バッチ正規化および層正規化よりも高速な収束性を示す。
  論文  参考訳（メタデータ） (2022-09-19T10:12:51Z)
• Batch Group Normalization [45.03388237812212]
  バッチ正規化(BN)は中規模および大規模なバッチサイズでよく機能する。 BNは、ノイズ/畳み込み統計計算により、小さな/非常に大きなバッチサイズで飽和する。 BGN は小・極大バッチサイズでの BN の雑音/畳み込み統計計算を解くために提案される。
  論文  参考訳（メタデータ） (2020-12-04T18:57:52Z)
• Comparing Normalization Methods for Limited Batch Size Segmentation Neural Networks [0.0]
  バッチ正規化は、トレーニング中に大きなバッチサイズを使用して最もうまく機能する。 限定バッチサイズニューラルネットワークトレーニング環境におけるインスタンス正規化の有効性を示す。 また,本実験で使用したインスタンス正規化実装は,正規化手法を使わずにネットワークと比較した場合,計算時間を効率よくすることを示した。
  論文  参考訳（メタデータ） (2020-11-23T17:13:24Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Extended Batch Normalization [3.377000738091241]
  バッチ正規化(BN)は、現代のディープネットワークをトレーニングするための標準技術となっている。 本稿では,拡張バッチ正規化(EBN)と呼ばれる,単純だが効果的な手法を提案する。 実験により,バッチ正規化の拡張は,バッチサイズが小さい場合のバッチ正規化の問題を軽減するとともに,バッチサイズが大きい場合のバッチ正規化に対するクローズな性能を実現する。
  論文  参考訳（メタデータ） (2020-03-12T01:53:15Z)
• Cross-Iteration Batch Normalization [67.83430009388678]
  本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
  論文  参考訳（メタデータ） (2020-02-13T18:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。