Fugu-MT 論文翻訳(概要): Asymptotic properties of one-layer artificial neural networks with sparse connectivity

論文の概要: Asymptotic properties of one-layer artificial neural networks with sparse connectivity

arxiv url: http://arxiv.org/abs/2112.00732v1
Date: Wed, 1 Dec 2021 11:00:11 GMT
ステータス: 処理完了
システム内更新日: 2021-12-03 16:44:15.461937
Title: Asymptotic properties of one-layer artificial neural networks with sparse connectivity
Title（参考訳）: スパース接続を有する一層人工ニューラルネットワークの漸近特性
Authors: Christian Hirsch, Matthias Neumann, Volker Schmidt
Abstract要約: 大数の法則は、スパース接続を有する一層人工ニューラルネットワークのパラメータの実験的分布を導出する。同時に増大する両方のニューロン、神経細胞、勾配降下の訓練に適用される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: A law of large numbers for the empirical distribution of parameters of a one-layer artificial neural networks with sparse connectivity is derived for a simultaneously increasing number of both, neurons and training iterations of the stochastic gradient descent.
Abstract（参考訳）: 疎結合を有する一層ニューラルネットワークのパラメータ分布を経験的に分布させるための大数の法則は、両ニューロン数の増加と確率的勾配降下の訓練反復を同時に導出する。

関連論文リスト

Stochastic Gradient Descent for Two-layer Neural Networks [2.0349026069285423]
本稿では、過パラメータ化された2層ニューラルネットワークに適用した場合の降下(SGD)アルゴリズムの収束率について検討する。提案手法は,NTKのタンジェントカーネル(NTK)近似と,NTKが生成する再生カーネル空間(RKHS)の収束解析を組み合わせたものである。我々の研究フレームワークは、カーネルメソッドと最適化プロセスの間の複雑な相互作用を探索し、ニューラルネットワークのダイナミクスと収束特性に光を当てることを可能にする。
論文参考訳（メタデータ） (2024-07-10T13:58:57Z)
Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent [9.4491536689161]
グローバル平均プール層を用いた過度パラメータ化畳み込みニューラルネットワークに基づく画像分類について検討する。新たに導入された畳み込みニューラルネットワーク推定の誤分類リスクの差の収束率に依存する勾配を導出する。
論文参考訳（メタデータ） (2024-05-13T10:26:28Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文参考訳（メタデータ） (2023-08-28T12:55:13Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Limitations of neural network training due to numerical instability of backpropagation [2.255961793913651]
本研究では,浮動小数点算術を用いて勾配を計算する勾配勾配降下による深層ニューラルネットワークの訓練について検討する。勾配降下によるトレーニングの過程で、層数に関して超直線的に多くのアフィンピースを維持できるReLUニューラルネットワークを見つける可能性は極めて低い。我々は,ReLUニューラルネットワークの勾配降下による近似列が理論的に構築された配列と大きく異なることを結論付けた。
論文参考訳（メタデータ） (2022-10-03T10:34:38Z)
Mean-Field Analysis of Two-Layer Neural Networks: Global Optimality with Linear Convergence Rates [7.094295642076582]
平均場体制はNTK(lazy training)体制の理論的に魅力的な代替手段である。平均場状態における連続ノイズ降下により訓練された2層ニューラルネットワークに対する線形収束結果を確立した。
論文参考訳（メタデータ） (2022-05-19T21:05:40Z)
On the approximation of functions by tanh neural networks [0.0]
我々は、ソボレフ規則の近似で生じる高階ソボレフノルムにおける誤差の境界を導出する。 2つの隠れ層しか持たないtanhニューラルネットワークは、より深いreluニューラルネットワークよりも、同等あるいはそれ以上の速度で近似関数に十分であることを示す。
論文参考訳（メタデータ） (2021-04-18T19:30:45Z)
Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
論文参考訳（メタデータ） (2021-03-05T08:45:43Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。