論文の概要: MMA Regularization: Decorrelating Weights of Neural Networks by Maximizing the Minimal Angles

• arxiv url: http://arxiv.org/abs/2006.06527v2
• Date: Tue, 23 Mar 2021 09:14:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 21:13:30.291491
• Title: MMA Regularization: Decorrelating Weights of Neural Networks by Maximizing the Minimal Angles
• Title（参考訳）: MMA規則化:最小角度の最大化によるニューラルネットワークの重みの減少
• Authors: Zhennan Wang, Canqun Xiang, Wenbin Zou, Chen Xu
• Abstract要約: 本稿では,この問題に対処する新しい多様性正規化手法を提案する。 極小対角(MMA)を最大化することにより、極大球上に分布するニューロンやフィルターの正規化重みベクトルを可能な限り均一にする。 MMA正則化は単純で効率的で効果的であるため、ニューラルネットワークトレーニングの基本的な正則化手法として利用することができる。
• 参考スコア（独自算出の注目度）: 24.68380201047569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The strong correlation between neurons or filters can significantly weaken the generalization ability of neural networks. Inspired by the well-known Tammes problem, we propose a novel diversity regularization method to address this issue, which makes the normalized weight vectors of neurons or filters distributed on a hypersphere as uniformly as possible, through maximizing the minimal pairwise angles (MMA). This method can easily exert its effect by plugging the MMA regularization term into the loss function with negligible computational overhead. The MMA regularization is simple, efficient, and effective. Therefore, it can be used as a basic regularization method in neural network training. Extensive experiments demonstrate that MMA regularization is able to enhance the generalization ability of various modern models and achieves considerable performance improvements on CIFAR100 and TinyImageNet datasets. In addition, experiments on face verification show that MMA regularization is also effective for feature learning. Code is available at: https://github.com/wznpub/MMA_Regularization.
• Abstract（参考訳）: ニューロンやフィルタ間の強い相関は、ニューラルネットワークの一般化能力を著しく弱める。 タムズ問題に着想を得て, 極小対角(MMA)を最大化することにより, 極大球上に分布するニューロンやフィルタの正規化重みベクトルを可能な限り均一化する, この問題に対処する新しい多様性正規化法を提案する。 この方法は、MMA正規化項を無視可能な計算オーバーヘッドで損失関数にプラグインすることで、容易にその効果を発揮できる。 MMA正則化は単純で効率的で効果的である。 したがって、ニューラルネットワークトレーニングの基本的な正規化手法として使用できる。 大規模な実験により、MMA正則化は様々な近代モデルの一般化能力を向上し、CIFAR100とTinyImageNetデータセットでかなりの性能向上を達成できることが示された。 さらに,顔認証実験により,MMA正則化は特徴学習にも有効であることが示された。 コードはhttps://github.com/wznpub/mma_regularization。

関連論文リスト

• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Preprint: Norm Loss: An efficient yet effective regularization method for deep neural networks [7.214681039134488]
  斜め多様体に基づく重み付き軟規則化法を提案する。 本手法は, CIFAR-10, CIFAR-100, ImageNet 2012データセットを用いて評価した。
  論文  参考訳（メタデータ） (2021-03-11T10:24:49Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Orthogonal Over-Parameterized Training [90.93276342756864]
  超球面上のニューロンの多様性を特徴付ける超球面エネルギーを確実に最小化できる新しいトレーニングフレームワークを提案する。 OPTがインダクティブスタンダードトレーニングよりも優れた一般化をもたらす理由について,いくつかの知見を提供する。
  論文  参考訳（メタデータ） (2020-04-09T17:16:38Z)
• Volumization as a Natural Generalization of Weight Decay [25.076488081589403]
  物理に触発されて、ニューラルネットワークの重みパラメータの物理体積を定義する。 本稿では,この手法がニューラルネットワークの正則化に有効な方法であることを示す。
  論文  参考訳（メタデータ） (2020-03-25T07:13:55Z)
• AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks [12.14537824884951]
  本稿では,トレーニング中のアクティベーションの規模を段階的に罰する新たな正規化手法を提案する。 本手法が一般化に与える影響をラベルランダム化試験と累積アブレーションを用いて解析した。
  論文  参考訳（メタデータ） (2020-03-07T18:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。