論文の概要: Neural Characteristic Activation Value Analysis for Improved ReLU
Network Feature Learning
- arxiv url: http://arxiv.org/abs/2305.15912v2
- Date: Fri, 30 Jun 2023 15:41:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 15:03:12.315777
- Title: Neural Characteristic Activation Value Analysis for Improved ReLU
Network Feature Learning
- Title(参考訳): 改良されたreluネットワーク特徴学習のための神経特性アクティベーション値解析
- Authors: Wenlin Chen, Hong Ge
- Abstract要約: 特徴アクティベーションセットとReLUネットワークにおける学習特徴との間に明確な関係を描いている。
特徴学習を改善するために,ReLUネットワークをパラメータ化するための幾何学的手法を提案する。
- 参考スコア(独自算出の注目度): 1.7894377200944507
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We examine the characteristic activation values of individual ReLU units in
neural networks. We refer to the corresponding set for such characteristic
activation values in the input space as the characteristic activation set of a
ReLU unit. We draw an explicit connection between the characteristic activation
set and learned features in ReLU networks. This connection leads to new
insights into why various neural network normalization techniques used in
modern deep learning architectures regularize and stabilize SGD optimization.
Utilizing these insights, we propose a geometric approach to parameterize ReLU
networks for improved feature learning. We empirically verify its usefulness
with less carefully chosen initialization schemes and larger learning rates. We
report improved optimization stability, faster convergence speed, and better
generalization performance.
- Abstract(参考訳): ニューラルネットワークにおける個々のReLUユニットの特性活性化値について検討する。
入力空間におけるそのような特性活性化値に対する対応する集合をReLUユニットの特性活性化集合と呼ぶ。
特徴アクティベーションセットとReLUネットワークにおける学習特徴との間に明確な関係を描いている。
この接続は、現代のディープラーニングアーキテクチャで使用される様々なニューラルネットワーク正規化技術がsgd最適化を規則化し安定化する理由に関する新たな洞察をもたらす。
これらの知見を活かして,reluネットワークのパラメータ化による特徴学習の改善を提案する。
より注意深く選択された初期化スキームとより大きな学習率でその有用性を検証する。
最適化の安定性,収束速度の高速化,一般化性能の向上について報告する。
関連論文リスト
- Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳(メタデータ) (2024-02-27T11:52:49Z) - ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。
このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。
ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
論文 参考訳(メタデータ) (2023-07-02T21:46:30Z) - Complexity of Deep Neural Networks from the Perspective of Functional
Equivalence [1.3597551064547502]
機能的等価性の概念を考察し、異なるネットワークパラメータ化が同じ機能をもたらすことを示唆する。
本稿では,畳み込みニューラルネットワーク,残差ネットワーク,注意に基づくモデルの拡張について論じる。
論文 参考訳(メタデータ) (2023-05-19T04:01:27Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳(メタデータ) (2023-03-05T17:57:33Z) - Re-visiting Reservoir Computing architectures optimized by Evolutionary
Algorithms [0.0]
進化的アルゴリズム(EA)はニューラルネットワーク(NN)アーキテクチャの改善に応用されている。
我々は、Reservoir Computing (RC) という、リカレントNNの特定の領域におけるEAの応用に関する体系的な簡単な調査を行う。
論文 参考訳(メタデータ) (2022-11-11T14:50:54Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。
本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
論文 参考訳(メタデータ) (2021-10-13T09:24:11Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Self-Reorganizing and Rejuvenating CNNs for Increasing Model Capacity
Utilization [8.661269034961679]
本稿では,ニューラルネットワークの計算資源利用を改善するための生物学的手法を提案する。
提案手法では,畳み込み層のチャネルアクティベーションを利用して,その層パラメータを再構成する。
再生されたパラメータは、再構成された生存パラメータから学んだことを補うために異なる特徴を学ぶ。
論文 参考訳(メタデータ) (2021-02-13T06:19:45Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。