論文の概要: Neural Characteristic Activation Value Analysis for Improved ReLU
Network Feature Learning
- arxiv url: http://arxiv.org/abs/2305.15912v3
- Date: Fri, 29 Sep 2023 17:13:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 18:35:09.862230
- Title: Neural Characteristic Activation Value Analysis for Improved ReLU
Network Feature Learning
- Title(参考訳): 改良されたreluネットワーク特徴学習のための神経特性アクティベーション値解析
- Authors: Wenlin Chen, Hong Ge
- Abstract要約: 本研究では、ニューラルネットワークにおける個々のReLUユニットの特性活性化値について検討する。
本稿では、そのような特性活性化値に対応する入力位置の集合を、ReLUユニットの特性活性化セットとして参照する。
- 参考スコア(独自算出の注目度): 2.6832500767373735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work examines the characteristic activation values of individual ReLU
units in neural networks. We refer to the set of input locations corresponding
to such characteristic activation values as the characteristic activation set
of a ReLU unit. We draw an explicit connection between the characteristic
activation set and learned features in ReLU networks. This connection leads to
new insights into how various neural network normalization techniques used in
modern deep learning architectures regularize and stabilize stochastic gradient
optimization. Utilizing these insights, we propose geometric parameterization
for ReLU networks to improve feature learning, which decouples the radial and
angular parameters in the hyperspherical coordinate system. We empirically
verify its usefulness with less carefully chosen initialization schemes and
larger learning rates. We report significant improvements in optimization
stability, convergence speed, and generalization performance for various models
on a variety of datasets, including the ResNet-50 network on ImageNet.
- Abstract(参考訳): 本研究では、ニューラルネットワークにおける個々のReLUユニットの特性活性化値について検討する。
このような特性活性化値に対応する入力位置のセットを、reluユニットの特性活性化セットとして参照する。
特徴アクティベーションセットとReLUネットワークにおける学習特徴との間に明確な関係を描いている。
この接続は、現代のディープラーニングアーキテクチャで使用される様々なニューラルネットワーク正規化技術が、確率的勾配最適化を規則化し安定化する方法に関する新たな洞察をもたらす。
これらの知見を利用して,超球面座標系における半径パラメータと角パラメータを分離する特徴学習を改善するために,ReLUネットワークの幾何パラメータ化を提案する。
より注意深く選択された初期化スキームとより大きな学習率でその有用性を検証する。
本稿では,ImageNet上のResNet-50ネットワークを含む各種データセット上での最適化安定性,収束速度,一般化性能の大幅な改善について報告する。
関連論文リスト
- Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳(メタデータ) (2024-02-27T11:52:49Z) - ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。
このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。
ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
論文 参考訳(メタデータ) (2023-07-02T21:46:30Z) - Complexity of Deep Neural Networks from the Perspective of Functional
Equivalence [1.3597551064547502]
機能的等価性の概念を考察し、異なるネットワークパラメータ化が同じ機能をもたらすことを示唆する。
本稿では,畳み込みニューラルネットワーク,残差ネットワーク,注意に基づくモデルの拡張について論じる。
論文 参考訳(メタデータ) (2023-05-19T04:01:27Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳(メタデータ) (2023-03-05T17:57:33Z) - Re-visiting Reservoir Computing architectures optimized by Evolutionary
Algorithms [0.0]
進化的アルゴリズム(EA)はニューラルネットワーク(NN)アーキテクチャの改善に応用されている。
我々は、Reservoir Computing (RC) という、リカレントNNの特定の領域におけるEAの応用に関する体系的な簡単な調査を行う。
論文 参考訳(メタデータ) (2022-11-11T14:50:54Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。
本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
論文 参考訳(メタデータ) (2021-10-13T09:24:11Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Self-Reorganizing and Rejuvenating CNNs for Increasing Model Capacity
Utilization [8.661269034961679]
本稿では,ニューラルネットワークの計算資源利用を改善するための生物学的手法を提案する。
提案手法では,畳み込み層のチャネルアクティベーションを利用して,その層パラメータを再構成する。
再生されたパラメータは、再構成された生存パラメータから学んだことを補うために異なる特徴を学ぶ。
論文 参考訳(メタデータ) (2021-02-13T06:19:45Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。