Fugu-MT 論文翻訳(概要): Large Deviations of Gaussian Neural Networks with ReLU activation

論文の概要: Large Deviations of Gaussian Neural Networks with ReLU activation

arxiv url: http://arxiv.org/abs/2405.16958v1
Date: Mon, 27 May 2024 08:53:24 GMT
ステータス: 翻訳完了
システム内更新日: 2024-05-28 16:21:29.702960
Title: Large Deviations of Gaussian Neural Networks with ReLU activation
Title（参考訳）: ReLU活性化を伴うガウスニューラルネットの大規模偏差
Authors: Quirin Vogel,
Abstract要約: 我々は、ガウス重みと(最も線形に成長する)活性化関数を持つディープニューラルネットワークに対して、大きな偏差原理を証明した。実際には、ReLUのような線形に増加する活性化関数が最も一般的に用いられる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We prove a large deviation principle for deep neural networks with Gaussian weights and (at most linearly growing) activation functions. This generalises earlier work, in which bounded and continuous activation functions were considered. In practice, linearly growing activation functions such as ReLU are most commonly used. We furthermore simplify previous expressions for the rate function and a give power-series expansions for the ReLU case.
Abstract（参考訳）: 我々は、ガウス重みと(最も線形に成長する)活性化関数を持つディープニューラルネットワークに対して、大きな偏差原理を証明した。これは、有界かつ連続な活性化関数が考慮された初期の研究を一般化する。実際には、ReLUのような線形に増加する活性化関数が最も一般的に用いられる。さらに、ReLUの場合、レート関数の以前の式と電源列拡張を単純化する。

関連論文リスト

Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks [6.1003048508889535]
我々は、非滑らか性のみがゼロである典型的な活性化関数に対して、より一般的なRKHSの特性を提供する。以上の結果から, 無限に滑らかでないアクティベーションの幅広いクラスは, 異なるネットワーク深さで等価なタンジェントを生成する一方, アクティベーションは等価でないRKHSを生成することがわかった。
論文参考訳（メタデータ） (2025-06-27T17:56:09Z)
A Near Complete Nonasymptotic Generalization Theory For Multilayer Neural Networks: Beyond the Bias-Variance Tradeoff [57.25901375384457]
任意のリプシッツ活性化と一般リプシッツ損失関数を持つ多層ニューラルネットワークに対する漸近一般化理論を提案する。特に、文献でよく見られるように、損失関数の有界性を必要としない。回帰問題に対する多層ReLUネットワークに対する理論の極小最適性を示す。
論文参考訳（メタデータ） (2025-03-03T23:34:12Z)
Improving the Expressive Power of Deep Neural Networks through Integral Activation Transform [12.36064367319084]
従来の完全接続型ディープニューラルネットワーク(DNN)を連続幅の概念により一般化する。 IAT-ReLUは連続基底関数を用いる場合に連続的な活性化パターンを示す。数値実験により,IAT-ReLUはトレーニング性やスムーズさの点で,通常のReLUよりも優れていることが示された。
論文参考訳（メタデータ） (2023-12-19T20:23:33Z)
Generalized Activation via Multivariate Projection [46.837481855573145]
活性化関数はニューラルネットワークに非線形性を導入するのに不可欠である。我々は、ReLU を R から非負半直線 R+ への射影とみなす。一般化された射影作用素でReLUを2次錐(SOC)射影のような凸錐に置換することでReLUを拡張する。
論文参考訳（メタデータ） (2023-09-29T12:44:27Z)
Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文参考訳（メタデータ） (2023-04-17T14:23:43Z)
How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer [2.1485350418225244]
本稿では,ReLUアクティベーションを伴うランダム化した浅層NNの一般化挙動を,正確なマクロ解析により解析する。 RSNは、無限に多くの方向が考慮される一般化加法モデル(GAM)型回帰に対応することを示す。
論文参考訳（メタデータ） (2023-03-20T21:05:47Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
On the existence of optimal shallow feedforward networks with ReLU activation [0.0]
我々は,ReLUを活性化した浅層フィードフォワード人工ニューラルネットワークを用いた連続目標関数の近似のための損失ランドスケープにおけるグローバルミニマの存在を証明した。拡張空間最小化器が存在するように探索空間のある種の閉包を提案する。
論文参考訳（メタデータ） (2023-03-06T13:35:46Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
On the Activation Function Dependence of the Spectral Bias of Neural Networks [0.0]
ニューラルネットワークのスペクトルバイアスの観点から,この現象を考察する。本稿では,ReLUニューラルネットワークのスペクトルバイアスを有限要素法との接続を利用して理論的に説明する。我々は,Hatアクティベーション機能を持つニューラルネットワークが勾配降下とADAMを用いて大幅に高速にトレーニングされていることを示す。
論文参考訳（メタデータ） (2022-08-09T17:40:57Z)
Uniform Approximation with Quadratic Neural Networks [0.0]
ReQUを活性化したディープニューラルネットワークは、(R)-H'older-regular関数内の任意の関数を近似することができることを示す。結果は (pgeq 2) の形式 (max(0,x)p) の任意の Rectified Power Unit (RePU) 活性化関数に簡単に一般化できる。
論文参考訳（メタデータ） (2022-01-11T02:26:55Z)
Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文参考訳（メタデータ） (2021-02-18T14:53:12Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)
On the asymptotics of wide networks with polynomial activations [12.509746979383701]
ニューラルネットワークの動作に対処する既存の予測を,幅の広い範囲で検討する。活性化関数を持つディープネットワークの予想を証明した。解析的(および非線形)アクティベーション関数を持つネットワークと,ReLULUのような断片的アクティベーションを持つネットワークとの違いを指摘する。
論文参考訳（メタデータ） (2020-06-11T18:00:01Z)
Dynamic ReLU [74.973224160508]
本稿では、すべてのインプット要素上のハイパー関数によって生成されるパラメータの動的入力である動的ReLU(DY-ReLU)を提案する。静的に比較すると、DY-ReLUは余分な計算コストは無視できるが、表現能力ははるかに高い。単にDY-ReLUをMobileNetV2に使用することで、ImageNet分類のトップ-1の精度は72.0%から76.2%に向上し、追加のFLOPは5%に留まった。
論文参考訳（メタデータ） (2020-03-22T23:45:35Z)
Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
論文参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。