論文の概要: $L_2$BN: Enhancing Batch Normalization by Equalizing the $L_2$ Norms of
Features
- arxiv url: http://arxiv.org/abs/2207.02625v6
- Date: Tue, 21 Mar 2023 11:58:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 03:48:14.796167
- Title: $L_2$BN: Enhancing Batch Normalization by Equalizing the $L_2$ Norms of
Features
- Title（参考訳）: $L_2$BN:$L_2$ノルムの等化によるバッチ正規化の強化
- Authors: Zhennan Wang, Kehan Li, Runyi Yu, Yian Zhao, Pengchong Qiao, Chang
Liu, Fan Xu, Xiangyang Ji, Guoli Song, Jie Chen
- Abstract要約: サンプル機能の$l$ノルムの違いは、バッチの正規化を妨げる可能性がある。
サンプル特徴の$l$ノルムを等化するための単純で効果的な手法を提案する。
L$BNは、さまざまなニューラルネットワークモデルの能力を高め、大幅なパフォーマンス向上を実現する。
- 参考スコア（独自算出の注目度）: 42.179888056878575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we analyze batch normalization from the perspective of
discriminability and find the disadvantages ignored by previous studies: the
difference in $l_2$ norms of sample features can hinder batch normalization
from obtaining more distinguished inter-class features and more compact
intra-class features. To address this issue, we propose a simple yet effective
method to equalize the $l_2$ norms of sample features. Concretely, we
$l_2$-normalize each sample feature before feeding them into batch
normalization, and therefore the features are of the same magnitude. Since the
proposed method combines the $l_2$ normalization and batch normalization, we
name our method $L_2$BN. The $L_2$BN can strengthen the compactness of
intra-class features and enlarge the discrepancy of inter-class features. The
$L_2$BN is easy to implement and can exert its effect without any additional
parameters or hyper-parameters. We evaluate the effectiveness of $L_2$BN
through extensive experiments with various models on image classification and
acoustic scene classification tasks. The results demonstrate that the $L_2$BN
can boost the generalization ability of various neural network models and
achieve considerable performance improvements.
- Abstract（参考訳）: 本稿では,識別可能性の観点からバッチ正規化を解析し,従来の研究で無視された欠点を見出す。サンプル特徴の$l_2$ノルムの違いは,より優れたクラス間特徴とよりコンパクトなクラス内特徴の獲得を妨げる。
この問題に対処するために,サンプル特徴の$l_2$ノルムを等化するための簡易かつ効果的な手法を提案する。
具体的には、バッチ正規化に投入する前に、各サンプル機能を$l_2$-normalizeします。
提案手法は,$l_2$正規化とバッチ正規化を組み合わせたものであるので,本手法を$L_2$BNと命名する。
l_2$bnはクラス内特徴のコンパクト性を強化し、クラス間特徴のばらつきを拡大することができる。
L_2$BNは実装が容易で、追加のパラメータやハイパーパラメータなしでその効果を発揮できる。
画像分類と音響シーン分類における様々なモデルを用いた広範囲な実験により,$L_2$BNの有効性を評価する。
その結果、$L_2$BNは様々なニューラルネットワークモデルの一般化能力を高め、大幅な性能向上を達成できることを示した。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Improving Sample Efficiency of Model-Free Algorithms for Zero-Sum Markov Games [66.2085181793014]
モデルフリーのステージベースQ-ラーニングアルゴリズムはモデルベースアルゴリズムと同じ$H$依存の最適性を享受できることを示す。
本アルゴリズムは,楽観的値関数と悲観的値関数のペアとして参照値関数を更新するキーとなる新しい設計を特徴とする。
論文 参考訳（メタデータ） (2023-08-17T08:34:58Z) - spred: Solving $L_1$ Penalty with SGD [6.2255027793924285]
単純な再パラメータ化を用いて、$L_$で微分可能な目的を最小化することを提案する。
我々は、再パラメータ化のトリックが「完全に良性である」ことを証明する。
論文 参考訳（メタデータ） (2022-10-03T20:07:51Z) - Mirror Descent Maximizes Generalized Margin and Can Be Implemented
Efficiently [34.438887960077025]
p$-$textsfGD$が学習モデルの構造と一般化性能に顕著に影響を及ぼすことを示す。
また、$p$-$textsfGD$はSGDと同じ方法で完全に並列であり、ディープニューラルネットワークのトレーニングに使用できることを示す。
論文 参考訳（メタデータ） (2022-05-25T14:33:13Z) - Learning Gaussian Mixtures with Generalised Linear Models: Precise
Asymptotics in High-dimensions [79.35722941720734]
多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。
実験的リスク最小化による高次元推定器の精度を実証する。
合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
論文 参考訳（メタデータ） (2021-06-07T16:53:56Z) - On the Generalization Power of Overfitted Two-Layer Neural Tangent
Kernel Models [42.72822331030195]
min $ell$-norm overfitting solution for the neural tangent kernel (NTK) model of a two-layer neural network. (英語)
本研究では, 地上真理関数に応じて, NTKモデルの試験誤差は, 「二重日射」と異なる特性を示すことを示した。
このクラス以外の関数に対しては、$n$ と $p$ の両方が大きかったとしても 0 に減少しない一般化エラーの低い境界を提供します。
論文 参考訳（メタデータ） (2021-03-09T06:24:59Z) - On the Adversarial Robustness of LASSO Based Feature Selection [72.54211869067979]
検討されたモデルでは、悪意のある敵がデータセット全体を観察し、レスポンス値やフィーチャーマトリックスを慎重に修正する。
両レベルの最適化問題として、敵の修正戦略を定式化する。
合成および実データを用いた数値的な例は,本手法が効率的かつ効果的であることを示している。
論文 参考訳（メタデータ） (2020-10-20T05:51:26Z) - Group Whitening: Balancing Learning Efficiency and Representational
Capacity [98.52552448012598]
グループホワイトニング(GW)は、ホワイトニング操作の利点を活用し、ミニバッチ内での正規化の欠点を回避する。
我々は、GWが異なるアーキテクチャのパフォーマンスを継続的に改善し、絶対的なゲインが$1.02%$$sim$1.49%$のImageNet上のトップ1精度と$1.82%$$$sim$$21%$のバウンディングボックスAPのCOCO上のバウンディングボックスAPであることを示した。
論文 参考訳（メタデータ） (2020-09-28T14:00:07Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。