論文の概要: Proxy-Normalizing Activations to Match Batch Normalization while
Removing Batch Dependence
- arxiv url: http://arxiv.org/abs/2106.03743v1
- Date: Mon, 7 Jun 2021 16:08:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 23:52:29.403780
- Title: Proxy-Normalizing Activations to Match Batch Normalization while
Removing Batch Dependence
- Title（参考訳）: バッチ依存を除去しながらバッチ正規化にマッチするプロキシ正規化アクティベーション
- Authors: Antoine Labatie, Dominic Masters, Zach Eaton-Rosen, Carlo Luschi
- Abstract要約: 階層正規化とインスタンス正規化の両方が、ニューラルネットワークのプレアクティベーションにおける障害モードの出現を誘導することがわかった。
本稿では,プロキシ分布を用いたポストアクティベーションの正規化手法であるプロキシ正規化を提案する。
層正規化やグループ正規化と組み合わせると、バッチ非依存の正規化はバッチ正規化の振る舞いをエミュレートし、そのパフォーマンスを一貫して一致または超える。
- 参考スコア（独自算出の注目度）: 8.411385346896413
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We investigate the reasons for the performance degradation incurred with
batch-independent normalization. We find that the prototypical techniques of
layer normalization and instance normalization both induce the appearance of
failure modes in the neural network's pre-activations: (i) layer normalization
induces a collapse towards channel-wise constant functions; (ii) instance
normalization induces a lack of variability in instance statistics, symptomatic
of an alteration of the expressivity. To alleviate failure mode (i) without
aggravating failure mode (ii), we introduce the technique "Proxy Normalization"
that normalizes post-activations using a proxy distribution. When combined with
layer normalization or group normalization, this batch-independent
normalization emulates batch normalization's behavior and consistently matches
or exceeds its performance.
- Abstract（参考訳）: バッチ非依存正規化に伴う性能低下の原因について検討した。
階層正規化とインスタンス正規化の原型的手法は、ニューラルネットワークの事前活性化における障害モードの出現を誘導する: (i) 層正規化はチャネル毎の定数関数への崩壊を誘発する; (ii) インスタンス正規化はインスタンス統計における変動性の欠如を誘発する。
障害モード(II)を悪化させることなく障害モード(i)を緩和するため,プロキシ分布を用いてポストアクティベーションを正規化する手法であるProxy Normalizationを導入する。
層正規化や群正規化と組み合わせると、このバッチ独立正規化はバッチ正規化の振る舞いをエミュレートし、一貫してその性能を超える。
関連論文リスト
- Unsupervised Adaptive Normalization [0.07499722271664146]
Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。
UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
論文 参考訳（メタデータ） (2024-09-07T08:14:11Z) - GLAD: Towards Better Reconstruction with Global and Local Adaptive Diffusion Models for Unsupervised Anomaly Detection [60.78684630040313]
拡散モデルは、特定のノイズを付加したテスト画像の通常の画像を再構成する傾向がある。
世界的視点から見ると、異なる異常による画像再構成の難しさは不均一である。
本稿では,非教師付き異常検出のためのグローバルかつ局所的な適応拡散モデル(GLADと略す)を提案する。
論文 参考訳（メタデータ） (2024-06-11T17:27:23Z) - AFN: Adaptive Fusion Normalization via an Encoder-Decoder Framework [6.293148047652131]
適応核融合正規化(Adaptive Fusion Normalization)と呼ばれる新しい正規化関数を提案する。
実験により、AFNは、領域一般化および画像分類タスクにおいて、従来の正規化手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-07T06:08:51Z) - The Implicit Bias of Batch Normalization in Linear Models and Two-layer
Linear Convolutional Neural Networks [117.93273337740442]
勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。
また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
論文 参考訳（メタデータ） (2023-06-20T16:58:00Z) - Context Normalization Layer with Applications [0.1499944454332829]
本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。
各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。
文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
論文 参考訳（メタデータ） (2023-03-14T06:38:17Z) - AltUB: Alternating Training Method to Update Base Distribution of
Normalizing Flow for Anomaly Detection [1.3999481573773072]
近年,様々な領域において,教師なし異常検出が注目されている。
その主なアプローチの1つは正規化フローであり、複素分布の像としての可逆変換を N(0, I) として簡単な分布に変換することである。
論文 参考訳（メタデータ） (2022-10-26T16:31:15Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳（メタデータ） (2021-10-05T11:36:25Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Pruning Redundant Mappings in Transformer Models via Spectral-Normalized
Identity Prior [54.629850694790036]
スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。
5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
論文 参考訳（メタデータ） (2020-10-05T05:40:56Z) - Optimization Theory for ReLU Neural Networks Trained with Normalization
Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。
我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文 参考訳（メタデータ） (2020-06-11T23:55:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。