論文の概要: A New Look at Ghost Normalization

• arxiv url: http://arxiv.org/abs/2007.08554v1
• Date: Thu, 16 Jul 2020 18:23:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 23:44:51.459359
• Title: A New Look at Ghost Normalization
• Title（参考訳）: ゴースト正規化の新しい見方
• Authors: Neofytos Dimitriou, Ognjen Arandjelovic
• Abstract要約: いくつかのデータセットでは、ゴースト正規化(GhostNorm)がBatchNormで改善されていることが示されている。 i) 単にBatchNormの拡張ではなく、GhostNorm特有の正規化のソースを発見し、(ii) 3種類のGhostNorm実装について説明する。
• 参考スコア（独自算出の注目度）: 12.331754048486554
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Batch normalization (BatchNorm) is an effective yet poorly understood technique for neural network optimization. It is often assumed that the degradation in BatchNorm performance to smaller batch sizes stems from it having to estimate layer statistics using smaller sample sizes. However, recently, Ghost normalization (GhostNorm), a variant of BatchNorm that explicitly uses smaller sample sizes for normalization, has been shown to improve upon BatchNorm in some datasets. Our contributions are: (i) we uncover a source of regularization that is unique to GhostNorm, and not simply an extension from BatchNorm, (ii) three types of GhostNorm implementations are described, two of which employ BatchNorm as the underlying normalization technique, (iii) by visualising the loss landscape of GhostNorm, we observe that GhostNorm consistently decreases the smoothness when compared to BatchNorm, (iv) we introduce Sequential Normalization (SeqNorm), and report superior performance over state-of-the-art methodologies on both CIFAR--10 and CIFAR--100 datasets.
• Abstract（参考訳）: バッチ正規化(BatchNorm)は、ニューラルネットワーク最適化の有効な手法であるが、理解されていない手法である。 BatchNormの性能が小さいバッチサイズに低下したことは、小さなサンプルサイズを使って層統計を見積もる必要があることに起因するとしばしば仮定される。 しかし、最近、正規化のためにより小さなサンプルサイズを明示的に使用するBatchNormの亜種であるGhost normalization(GhostNorm)が、いくつかのデータセットでBatchNormに改善されていることが示されている。 私たちの貢献は (i)単にBatchNormの拡張ではなく、GhostNorm特有の正規化のソースを明らかにする。 (ii) 3種類のGhostNorm実装について述べ、そのうち2つはBatchNormを基礎となる正規化手法として採用している。 (三)GhostNormの損失景観を可視化することにより、GhostNormはBatchNormと比較して常に滑らかさを低下させる。 (4)シークエンシャル正規化(SeqNorm)を導入し,CIFAR--10およびCIFAR-100データセットの最先端手法よりも優れた性能を示す。

関連論文リスト

• Ghost Noise for Regularizing Deep Neural Networks [38.08431828419127]
  バッチ正規化(BN)は、最適化プロセスを安定化し、ディープニューラルネットワークのテスト性能を改善するために広く用いられている。 本稿では,GBN のノイズを再現する Ghost Noise Injection (GNI) と呼ばれる新しい正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T18:53:35Z)
• An Empirical Analysis of the Shift and Scale Parameters in BatchNorm [3.198144010381572]
  Batch Normalization(BatchNorm)は、ディープニューラルネットワークのトレーニングを改善するテクニックである。 本稿では,正規化段階におけるBatchNormの成功に対する相対的貢献について検討する。
  論文  参考訳（メタデータ） (2023-03-22T12:41:12Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Kernel Normalized Convolutional Networks [15.997774467236352]
  しかし、BatchNormは小さなバッチサイズではパフォーマンスが悪く、差分プライバシーには適用できない。 我々はカーネルノームとカーネル正規化畳み込み層を提案し、カーネル正規化畳み込みネットワーク(KNConvNets)に組み込む。 KNConvNetsは、画像分類とセマンティックセグメンテーションにおいて、BatchNormのそれよりも高い、あるいは競合的なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-20T11:18:05Z)
• Is Batch Norm unique? An empirical investigation and prescription to emulate the best properties of common normalizers without batch dependence [33.07255026021875]
  バッチノルムおよび他の一般的な正規化器の統計的性質について検討する。 PreLayerNormとRegNormという2つの単純な正規化器を提案します。
  論文  参考訳（メタデータ） (2020-10-21T00:41:38Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training [101.3819906739515]
  グラフニューラルネットワーク(GNN)における正規化の有効性について検討する。 BatchNormやLayerNormと比較して、インスタンスNormの方が高速に収束できる。 GraphNormはGNNの一般化も改善し、グラフ分類ベンチマークのパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-09-07T17:55:21Z)
• Towards an Adversarially Robust Normalization Approach [8.744644782067368]
  バッチ正規化(BatchNorm)は、ディープニューラルネットワークのパフォーマンス向上とトレーニングの高速化に有効である。 それはまた、敵の脆弱性、すなわち敵の攻撃に対して堅牢でないネットワークの原因であることも示している。 本稿では,BatchNormの逆の頑健なバージョンであるRobustNorm(Robust Normalization)を提案する。
  論文  参考訳（メタデータ） (2020-06-19T08:12:25Z)
• Evolving Normalization-Activation Layers [100.82879448303805]
  我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。 我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
  論文  参考訳（メタデータ） (2020-04-06T19:52:48Z)
• Cross-Iteration Batch Normalization [67.83430009388678]
  本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
  論文  参考訳（メタデータ） (2020-02-13T18:52:57Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。