Fugu-MT 論文翻訳(概要): On the asymptotics of wide networks with polynomial activations

論文の概要: On the asymptotics of wide networks with polynomial activations

arxiv url: http://arxiv.org/abs/2006.06687v1
Date: Thu, 11 Jun 2020 18:00:01 GMT
ステータス: 処理完了
システム内更新日: 2022-11-22 13:14:22.276115
Title: On the asymptotics of wide networks with polynomial activations
Title（参考訳）: 多項式活性化を持つ広帯域ネットワークの漸近性について
Authors: Kyle Aitken, Guy Gur-Ari
Abstract要約: ニューラルネットワークの動作に対処する既存の予測を,幅の広い範囲で検討する。活性化関数を持つディープネットワークの予想を証明した。解析的(および非線形)アクティベーション関数を持つネットワークと,ReLULUのような断片的アクティベーションを持つネットワークとの違いを指摘する。
参考スコア（独自算出の注目度）: 12.509746979383701
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider an existing conjecture addressing the asymptotic behavior of neural networks in the large width limit. The results that follow from this conjecture include tight bounds on the behavior of wide networks during stochastic gradient descent, and a derivation of their finite-width dynamics. We prove the conjecture for deep networks with polynomial activation functions, greatly extending the validity of these results. Finally, we point out a difference in the asymptotic behavior of networks with analytic (and non-linear) activation functions and those with piecewise-linear activations such as ReLU.
Abstract（参考訳）: 本稿では, ニューラルネットワークの漸近的挙動を, 幅の広い範囲で考察する。この予想から導かれる結果は、確率勾配降下中の広帯域ネットワークの挙動の厳密な境界と、それらの有限幅ダイナミクスの導出である。多項式活性化関数を持つディープネットワークの予想を証明し、これらの結果の有効性を大幅に拡張する。最後に,解析的(非線形)アクティベーション関数とreluのような分割線形アクティベーションを持つネットワークの漸近的挙動の違いを指摘する。

関連論文リスト

Activation thresholds and expressiveness of polynomial neural networks [0.0]
多項式ニューラルネットワークは様々な用途で実装されている。本稿では,ネットワークアーキテクチャのアクティベーションしきい値の概念を紹介する。
論文参考訳（メタデータ） (2024-08-08T16:28:56Z)
Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths [3.0069322256338906]
リプシッツ連続活性化関数と可変幅の重み行列を持つディープニューラルネットワークを考える。特に、畳み込みニューラルネットワークは、幅が増大する重み行列を持つ特殊なディープニューラルネットワークであるため、マスクシーケンスに条件を提示する。活性化関数上のリプシッツ連続性仮定は、アプリケーションでよく使われる活性化関数のほとんどを我々の理論に含めることができる。
論文参考訳（メタデータ） (2023-06-02T17:07:12Z)
Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文参考訳（メタデータ） (2023-05-25T14:17:15Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
Qualitative neural network approximation over R and C: Elementary proofs for analytic and polynomial activation [0.0]
解析的アクティベーション関数を持つ深部ニューラルネットワークと浅部ニューラルネットワークのクラスで近似を証明した。活性化関数を持つ大深度ネットワークの完全連結および残留ネットワークは,任意の幅要件下で近似可能であることを示す。
論文参考訳（メタデータ） (2022-03-25T01:36:13Z)
Decimation technique for open quantum systems: a case study with driven-dissipative bosonic chains [62.997667081978825]
量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
論文参考訳（メタデータ） (2022-02-15T19:00:09Z)
Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文参考訳（メタデータ） (2022-01-25T17:13:56Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
The Representation Power of Neural Networks: Breaking the Curse of Dimensionality [0.0]
浅層および深層ニューラルネットワークの量に対する上限を証明します。我々はさらに、これらの境界がコロボフ函数を近似するために必要となる連続関数近似器の最小パラメータ数にほぼ一致することを証明した。
論文参考訳（メタデータ） (2020-12-10T04:44:07Z)
Analytical aspects of non-differentiable neural networks [0.0]
本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。ここでは,QNN が DNN と同じ表現性を持つことを示す。また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
論文参考訳（メタデータ） (2020-11-03T17:20:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。