論文の概要: ReLU Characteristic Activation Analysis
- arxiv url: http://arxiv.org/abs/2305.15912v4
- Date: Tue, 21 May 2024 21:08:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-26 21:22:37.459692
- Title: ReLU Characteristic Activation Analysis
- Title(参考訳): ReLU特性の活性化解析
- Authors: Wenlin Chen, Hong Ge,
- Abstract要約: 本稿では,個々のニューロンの特徴的活性化境界を調べることによって,ReLUネットワークのトレーニングダイナミクスを解析するための新しいアプローチを提案する。
提案手法は,コンバージェンス最適化におけるニューラルネットワークのパラメータ化と正規化において重要な不安定性を示し,高速収束を阻害し,性能を損なう。
- 参考スコア(独自算出の注目度): 2.2713084727838115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel approach for analyzing the training dynamics of ReLU networks by examining the characteristic activation boundaries of individual ReLU neurons. Our proposed analysis reveals a critical instability in common neural network parameterizations and normalizations during stochastic optimization, which impedes fast convergence and hurts generalization performance. Addressing this, we propose Geometric Parameterization (GmP), a novel neural network parameterization technique that effectively separates the radial and angular components of weights in the hyperspherical coordinate system. We show theoretically that GmP resolves the aforementioned instability issue. We report empirical results on various models and benchmarks to verify GmP's theoretical advantages of optimization stability, convergence speed and generalization performance.
- Abstract(参考訳): 本稿では,個々のReLUニューロンの特徴的活性化境界を調べることによって,ReLUネットワークのトレーニングダイナミクスを解析するための新しいアプローチを提案する。
提案手法は,確率最適化におけるニューラルネットワークのパラメータ化と正規化において重要な不安定性を示し,高速収束を阻害し,一般化性能を損なう。
そこで我々は,超球面座標系における重みの半径成分と角成分を効果的に分離する新しいニューラルネットワークパラメータ化手法である幾何パラメータ化(GmP)を提案する。
理論的には、GmPが上記の不安定性問題を解決していることを示す。
本稿では,GmPの最適化安定性,収束速度,一般化性能に関する理論的優位性を検証するために,各種モデルおよびベンチマークに関する実験結果について報告する。
関連論文リスト
- The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
本稿では,パラメータ空間対称性を低減した新しいニューラルネットワークアーキテクチャを導入することにより,ニューラルパラメータ対称性の影響について検討する。
重み空間をアライメントすることなく、ネットワーク間の線形モード接続を観測し、ネットワークがより高速で効果的なベイズニューラルネットワークトレーニングを可能にすることを発見した。
論文 参考訳(メタデータ) (2024-05-30T16:32:31Z) - Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。
トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文 参考訳(メタデータ) (2024-03-12T07:32:47Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳(メタデータ) (2022-09-19T18:48:00Z) - Orthogonal Stochastic Configuration Networks with Adaptive Construction
Parameter for Data Analytics [6.940097162264939]
ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。
機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。
本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
論文 参考訳(メタデータ) (2022-05-26T07:07:26Z) - Improving Parametric Neural Networks for High-Energy Physics (and
Beyond) [0.0]
本研究の目的は,現実世界の使用状況に照らして,パラメトリックニューラルネットワーク(pNN)ネットワークの理解を深めることである。
本稿では,新しいパラメータ化ニューラルネットワークアーキテクチャであるAffinePNNを提案する。
我々は、その不均衡バージョン(HEPMASS-IMB)に沿って、HEPMASSデータセット上で、我々のモデルを広範囲に評価する。
論文 参考訳(メタデータ) (2022-02-01T14:18:43Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Training Sparse Neural Network by Constraining Synaptic Weight on Unit
Lp Sphere [2.429910016019183]
単位 Lp-球面上のシナプス重みを制約することにより、p で空間を柔軟に制御することができる。
このアプローチは、幅広いドメインをカバーするベンチマークデータセットの実験によって検証されます。
論文 参考訳(メタデータ) (2021-03-30T01:02:31Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - Deep connections between learning from limited labels & physical
parameter estimation -- inspiration for regularization [0.0]
PDE制約最適化におけるモデルパラメータの明示的な正規化は、ネットワーク出力の正規化に変換されることを示す。
ハイパースペクトルイメージングの例は、最適正規化パラメータのクロスバリデーションと共に最小の事前情報がセグメンテーション精度を高めることを示している。
論文 参考訳(メタデータ) (2020-03-17T19:33:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。