論文の概要: Neural Characteristic Activation Value Analysis for Improved ReLU Network Feature Learning

• arxiv url: http://arxiv.org/abs/2305.15912v1
• Date: Thu, 25 May 2023 10:19:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 15:57:32.793757
• Title: Neural Characteristic Activation Value Analysis for Improved ReLU Network Feature Learning
• Title（参考訳）: 改良されたreluネットワーク特徴学習のための神経特性アクティベーション値解析
• Authors: Wenlin Chen, Hong Ge
• Abstract要約: 特徴アクティベーションセットとReLUネットワークにおける学習特徴との間に明確な関係を描いている。 特徴学習を改善するために,ReLUネットワークをパラメータ化するための幾何学的手法を提案する。
• 参考スコア（独自算出の注目度）: 1.7894377200944507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We examine the characteristic activation values of individual ReLU units in neural networks. We refer to the corresponding set for such characteristic activation values in the input space as the characteristic activation set of a ReLU unit. We draw an explicit connection between the characteristic activation set and learned features in ReLU networks. This connection leads to new insights into why various neural network normalization techniques used in modern deep learning architectures regularize and stabilize SGD optimization. Utilizing these insights, we propose a geometric approach to parameterize ReLU networks for improved feature learning. We empirically verify its usefulness with less carefully chosen initialization schemes and larger learning rates. We report improved optimization stability, faster convergence speed, and better generalization performance.
• Abstract（参考訳）: ニューラルネットワークにおける個々のReLUユニットの特性活性化値について検討する。 入力空間におけるそのような特性活性化値に対する対応する集合をReLUユニットの特性活性化集合と呼ぶ。 特徴アクティベーションセットとReLUネットワークにおける学習特徴との間に明確な関係を描いている。 この接続は、現代のディープラーニングアーキテクチャで使用される様々なニューラルネットワーク正規化技術がsgd最適化を規則化し安定化する理由に関する新たな洞察をもたらす。 これらの知見を活かして,reluネットワークのパラメータ化による特徴学習の改善を提案する。 より注意深く選択された初期化スキームとより大きな学習率でその有用性を検証する。 最適化の安定性,収束速度の高速化,一般化性能の向上について報告する。

関連論文リスト

• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Re-visiting Reservoir Computing architectures optimized by Evolutionary Algorithms [0.0]
  進化的アルゴリズム(EA)はニューラルネットワーク(NN)アーキテクチャの改善に応用されている。 我々は、Reservoir Computing (RC) という、リカレントNNの特定の領域におけるEAの応用に関する体系的な簡単な調査を行う。
  論文  参考訳（メタデータ） (2022-11-11T14:50:54Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• A Weight Initialization Based on the Linear Product Structure for Neural Networks [0.0]
  非線形的な観点からニューラルネットワークを研究し、ニューラルネットワークの線形積構造(LPS)に基づく新しいウェイト初期化戦略を提案する。 提案手法は, 数値代数学の理論を用いて, すべての局所最小値を求めることを保証することにより, 活性化関数の近似から導かれる。
  論文  参考訳（メタデータ） (2021-09-01T00:18:59Z)
• Characterization of Generalizability of Spike Time Dependent Plasticity trained Spiking Neural Networks [8.024434062411943]
  Spike Time Dependent Plasticity (STDP) で訓練されたスパイクニューラルネットワーク(SNN)は、神経にインスパイアされた教師なし学習手法である。 本稿では,学習アルゴリズムの軌跡のハウスドルフ次元を用いたSTDP学習過程の一般化性について検討する。
  論文  参考訳（メタデータ） (2021-05-31T02:19:06Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
  ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。 本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
  論文  参考訳（メタデータ） (2020-09-21T16:32:04Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。