Fugu-MT 論文翻訳(概要): Large Deviations of Gaussian Neural Networks with ReLU activation

論文の概要: Large Deviations of Gaussian Neural Networks with ReLU activation

arxiv url: http://arxiv.org/abs/2405.16958v1
Date: Mon, 27 May 2024 08:53:24 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 16:21:29.702960
Title: Large Deviations of Gaussian Neural Networks with ReLU activation
Title（参考訳）: ReLU活性化を伴うガウスニューラルネットの大規模偏差
Authors: Quirin Vogel,
Abstract要約: 我々は、ガウス重みと(最も線形に成長する)活性化関数を持つディープニューラルネットワークに対して、大きな偏差原理を証明した。実際には、ReLUのような線形に増加する活性化関数が最も一般的に用いられる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We prove a large deviation principle for deep neural networks with Gaussian weights and (at most linearly growing) activation functions. This generalises earlier work, in which bounded and continuous activation functions were considered. In practice, linearly growing activation functions such as ReLU are most commonly used. We furthermore simplify previous expressions for the rate function and a give power-series expansions for the ReLU case.
Abstract（参考訳）: 我々は、ガウス重みと(最も線形に成長する)活性化関数を持つディープニューラルネットワークに対して、大きな偏差原理を証明した。これは、有界かつ連続な活性化関数が考慮された初期の研究を一般化する。実際には、ReLUのような線形に増加する活性化関数が最も一般的に用いられる。さらに、ReLUの場合、レート関数の以前の式と電源列拡張を単純化する。

関連論文リスト

Improving the Expressive Power of Deep Neural Networks through Integral Activation Transform [12.36064367319084]
従来の完全接続型ディープニューラルネットワーク(DNN)を連続幅の概念により一般化する。 IAT-ReLUは連続基底関数を用いる場合に連続的な活性化パターンを示す。数値実験により,IAT-ReLUはトレーニング性やスムーズさの点で,通常のReLUよりも優れていることが示された。
論文参考訳（メタデータ） (2023-12-19T20:23:33Z)
Generalized Activation via Multivariate Projection [46.837481855573145]
活性化関数はニューラルネットワークに非線形性を導入するのに不可欠である。我々は、ReLU を R から非負半直線 R+ への射影とみなす。一般化された射影作用素でReLUを2次錐(SOC)射影のような凸錐に置換することでReLUを拡張する。
論文参考訳（メタデータ） (2023-09-29T12:44:27Z)
Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文参考訳（メタデータ） (2023-04-17T14:23:43Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
On the Activation Function Dependence of the Spectral Bias of Neural Networks [0.0]
ニューラルネットワークのスペクトルバイアスの観点から,この現象を考察する。本稿では,ReLUニューラルネットワークのスペクトルバイアスを有限要素法との接続を利用して理論的に説明する。我々は,Hatアクティベーション機能を持つニューラルネットワークが勾配降下とADAMを用いて大幅に高速にトレーニングされていることを示す。
論文参考訳（メタデータ） (2022-08-09T17:40:57Z)
Uniform Approximation with Quadratic Neural Networks [0.0]
ReQUを活性化したディープニューラルネットワークは、(R)-H'older-regular関数内の任意の関数を近似することができることを示す。結果は (pgeq 2) の形式 (max(0,x)p) の任意の Rectified Power Unit (RePU) 活性化関数に簡単に一般化できる。
論文参考訳（メタデータ） (2022-01-11T02:26:55Z)
Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文参考訳（メタデータ） (2021-02-18T14:53:12Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)
On the asymptotics of wide networks with polynomial activations [12.509746979383701]
ニューラルネットワークの動作に対処する既存の予測を,幅の広い範囲で検討する。活性化関数を持つディープネットワークの予想を証明した。解析的(および非線形)アクティベーション関数を持つネットワークと,ReLULUのような断片的アクティベーションを持つネットワークとの違いを指摘する。
論文参考訳（メタデータ） (2020-06-11T18:00:01Z)
Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
論文参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。