論文の概要: Neural Characteristic Activation Value Analysis for Improved ReLU Network Feature Learning

• arxiv url: http://arxiv.org/abs/2305.15912v1
• Date: Thu, 25 May 2023 10:19:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-05-26 15:57:32.793757
• Title: Neural Characteristic Activation Value Analysis for Improved ReLU Network Feature Learning
• Title（参考訳）: 改良されたreluネットワーク特徴学習のための神経特性アクティベーション値解析
• Authors: Wenlin Chen, Hong Ge
• Abstract要約: 特徴アクティベーションセットとReLUネットワークにおける学習特徴との間に明確な関係を描いている。 特徴学習を改善するために,ReLUネットワークをパラメータ化するための幾何学的手法を提案する。
• 参考スコア（独自算出の注目度）: 1.7894377200944507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We examine the characteristic activation values of individual ReLU units in neural networks. We refer to the corresponding set for such characteristic activation values in the input space as the characteristic activation set of a ReLU unit. We draw an explicit connection between the characteristic activation set and learned features in ReLU networks. This connection leads to new insights into why various neural network normalization techniques used in modern deep learning architectures regularize and stabilize SGD optimization. Utilizing these insights, we propose a geometric approach to parameterize ReLU networks for improved feature learning. We empirically verify its usefulness with less carefully chosen initialization schemes and larger learning rates. We report improved optimization stability, faster convergence speed, and better generalization performance.
• Abstract（参考訳）: ニューラルネットワークにおける個々のReLUユニットの特性活性化値について検討する。 入力空間におけるそのような特性活性化値に対する対応する集合をReLUユニットの特性活性化集合と呼ぶ。 特徴アクティベーションセットとReLUネットワークにおける学習特徴との間に明確な関係を描いている。 この接続は、現代のディープラーニングアーキテクチャで使用される様々なニューラルネットワーク正規化技術がsgd最適化を規則化し安定化する理由に関する新たな洞察をもたらす。 これらの知見を活かして,reluネットワークのパラメータ化による特徴学習の改善を提案する。 より注意深く選択された初期化スキームとより大きな学習率でその有用性を検証する。 最適化の安定性,収束速度の高速化,一般化性能の向上について報告する。

関連論文リスト

• Understanding Inverse Reinforcement Learning under Overparameterization: Non-Asymptotic Analysis and Global Optimality [52.906438147288256]
  我々のアルゴリズムは,特定のニューラルネットワーク構造の下で,最適報酬とポリシーを識別できることが示される。 これは、国際的最適性を確実に達成する非漸近収束保証を持つ最初のIRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-03-22T21:16:08Z)
• On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
  変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。 本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。 また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
  論文  参考訳（メタデータ） (2024-09-09T06:10:31Z)
• Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
  ニューロモルフィックハードウェア上のニューラルネットワークは、非喫煙者よりも消費電力の少ないオーダーを約束する。 このようなシステム上でのスパイクベースの計算のための標準的なニューロンモデルは、長い間、統合と火災(LIF)ニューロンであった。 いわゆるアダプティブLIFニューロンの根源はよく分かっていない。
  論文  参考訳（メタデータ） (2024-08-14T12:49:58Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Neural Parameter Regression for Explicit Representations of PDE Solution Operators [22.355460388065964]
  偏微分方程式(PDE)の解演算子を学習するための新しいフレームワークであるニューラル回帰(NPR)を導入する。 NPRは、ニューラルネットワーク(NN)パラメータを回帰するために、Physics-Informed Neural Network (PINN, Raissi et al., 2021) 技術を使用している。 このフレームワークは、新しい初期条件と境界条件に顕著な適応性を示し、高速な微調整と推論を可能にした。
  論文  参考訳（メタデータ） (2024-03-19T14:30:56Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)
• Improving Parametric Neural Networks for High-Energy Physics (and Beyond) [0.0]
  本研究の目的は,現実世界の使用状況に照らして,パラメトリックニューラルネットワーク(pNN)ネットワークの理解を深めることである。 本稿では,新しいパラメータ化ニューラルネットワークアーキテクチャであるAffinePNNを提案する。 我々は、その不均衡バージョン(HEPMASS-IMB)に沿って、HEPMASSデータセット上で、我々のモデルを広範囲に評価する。
  論文  参考訳（メタデータ） (2022-02-01T14:18:43Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy [119.12515258771302]
  オーバーパラメトリゼーションを備えたPPOOの変種が,グローバルな最適ネットワークに収束することを示す。 我々の分析の鍵は、1次元の単調性の概念の下で無限勾配の反復であり、そこでは勾配はネットワークによって瞬く。
  論文  参考訳（メタデータ） (2019-06-25T03:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。