論文の概要: Comparing Normalization Methods for Limited Batch Size Segmentation Neural Networks

• arxiv url: http://arxiv.org/abs/2011.11559v1
• Date: Mon, 23 Nov 2020 17:13:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 02:28:58.958377
• Title: Comparing Normalization Methods for Limited Batch Size Segmentation Neural Networks
• Title（参考訳）: 限定バッチサイズ分割ニューラルネットワークの正規化法の比較
• Authors: Martin Kolarik, Radim Burget, Kamil Riha
• Abstract要約: バッチ正規化は、トレーニング中に大きなバッチサイズを使用して最もうまく機能する。 限定バッチサイズニューラルネットワークトレーニング環境におけるインスタンス正規化の有効性を示す。 また,本実験で使用したインスタンス正規化実装は,正規化手法を使わずにネットワークと比較した場合,計算時間を効率よくすることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread use of Batch Normalization has enabled training deeper neural networks with more stable and faster results. However, the Batch Normalization works best using large batch size during training and as the state-of-the-art segmentation convolutional neural network architectures are very memory demanding, large batch size is often impossible to achieve on current hardware. We evaluate the alternative normalization methods proposed to solve this issue on a problem of binary spine segmentation from 3D CT scan. Our results show the effectiveness of Instance Normalization in the limited batch size neural network training environment. Out of all the compared methods the Instance Normalization achieved the highest result with Dice coefficient = 0.96 which is comparable to our previous results achieved by deeper network with longer training time. We also show that the Instance Normalization implementation used in this experiment is computational time efficient when compared to the network without any normalization method.
• Abstract（参考訳）: Batch Normalizationの普及により、より安定した高速な結果でより深いニューラルネットワークのトレーニングが可能になる。 しかしながら、バッチ正規化はトレーニング中に大きなバッチサイズを使用するのが最適であり、最先端のセグメンテーション畳み込みニューラルネットワークアーキテクチャは非常にメモリを必要とするため、現在のハードウェアでは大きなバッチサイズを達成できないことが多い。 本研究では, 3次元ctスキャンから2本の脊椎分節問題に対して, 代替正規化法について検討した。 本結果は,限定バッチサイズニューラルネットワークトレーニング環境におけるインスタンス正規化の有効性を示す。 比較したすべての手法のうち、インスタンス正規化はDice係数=0.96で最高の結果を得たが、これはトレーニング時間が長いより深いネットワークによって達成された過去の結果に匹敵するものである。 また,本実験で使用するインスタンス正規化の実装は,正規化手法を伴わないネットワークと比較して計算時間効率が良いことを示す。

関連論文リスト

• Exploring the Efficacy of Group-Normalization in Deep Learning Models for Alzheimer's Disease Classification [2.6447365674762273]
  群正規化はバッチ正規化の代替となる。 GNはバッチ正規化と比較して非常に低い10.6%の誤差率を達成する。
  論文  参考訳（メタデータ） (2024-04-01T06:10:11Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Batch Layer Normalization, A new normalization layer for CNNs and RNN [0.0]
  本研究では, Batch Layer Normalization (BLN) と呼ばれる新しい正規化層を導入する。 バッチとレイヤの正規化の組み合わせとして、BLNはミニバッチの逆サイズに基づいて、最小バッチと特徴正規化を適切に重み付けする。 実験結果は,畳み込みニューラルネットワークと反復ニューラルネットワークの両方におけるBLNの適用ポテンシャルと,バッチ正規化および層正規化よりも高速な収束性を示す。
  論文  参考訳（メタデータ） (2022-09-19T10:12:51Z)
• Training Thinner and Deeper Neural Networks: Jumpstart Regularization [2.8348950186890467]
  我々は、神経細胞が死滅したり線状になるのを防ぐために正規化を使用します。 従来のトレーニングと比較して、より薄く、より深く、そして(最も重要な)よりパラメータ効率の高いニューラルネットワークが得られます。
  論文  参考訳（メタデータ） (2022-01-30T12:11:24Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Training Deep Neural Networks Without Batch Normalization [4.266320191208303]
  この研究はバッチ正規化を詳細に研究し、重量正規化、勾配クリッピング、ドロップアウトといった他の手法と比較する。 この研究の主な目的は、トレーニングプロセスの適応によってバッチ正規化が除去された場合、ネットワークを効果的にトレーニングできるかどうかを判断することである。
  論文  参考訳（メタデータ） (2020-08-18T15:04:40Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)
• Cross-Iteration Batch Normalization [67.83430009388678]
  本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
  論文  参考訳（メタデータ） (2020-02-13T18:52:57Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。