論文の概要: Spectral complexity of deep neural networks

• arxiv url: http://arxiv.org/abs/2405.09541v2
• Date: Thu, 27 Jun 2024 07:46:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 19:06:57.357661
• Title: Spectral complexity of deep neural networks
• Title（参考訳）: ディープニューラルネットワークのスペクトル複雑性
• Authors: Simmaco Di Lillo, Domenico Marinucci, Michele Salvi, Stefano Vigogna,
• Abstract要約: 我々は,ネットワークアーキテクチャの複雑さを特徴付けるために,制限場の角パワースペクトルを用いる。 そこで我々は,ニューラルネットワークを低次,スパース,高次と分類する。 本稿では,この分類が標準アクティベーション関数の様々な特徴,特にReLUネットワークの空間特性を如何に強調するかを示す。
• 参考スコア（独自算出の注目度）: 2.099922236065961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well-known that randomly initialized, push-forward, fully-connected neural networks weakly converge to isotropic Gaussian processes, in the limit where the width of all layers goes to infinity. In this paper, we propose to use the angular power spectrum of the limiting field to characterize the complexity of the network architecture. In particular, we define sequences of random variables associated with the angular power spectrum, and provide a full characterization of the network complexity in terms of the asymptotic distribution of these sequences as the depth diverges. On this basis, we classify neural networks as low-disorder, sparse, or high-disorder; we show how this classification highlights a number of distinct features for standard activation functions, and in particular, sparsity properties of ReLU networks. Our theoretical results are also validated by numerical simulations.
• Abstract（参考訳）: ランダムに初期化され、プッシュフォワードで完全に接続されたニューラルネットワークは、すべての層の幅が無限大になる極限において、等方的ガウス過程に弱収束することが知られている。 本稿では,ネットワークアーキテクチャの複雑さを特徴付けるために,制限フィールドの角パワースペクトルを用いることを提案する。 特に、角パワースペクトルに付随するランダム変数の列を定義し、これらの列の漸近分布を深度分岐として、ネットワークの複雑さをフルに評価する。 そこで我々は,ニューラルネットワークを低次,スパース,高次と分類し,この分類が標準アクティベーション関数の様々な特徴,特にReLUネットワークの空間特性を如何に強調するかを示す。 また, 数値シミュレーションにより, 理論的結果も検証した。

関連論文リスト

• Proportional infinite-width infinite-depth limit for deep linear neural networks [0.16385815610837165]
  大規模ネットワークのコンテキストにおけるランダムパラメータを持つ線形ニューラルネットワークの分布特性について検討し,各層あたりのニューロン数に比例して層数が分散することを示した。 出力間の相関を保った非ガウス分布を導出し, 深さと幅の両方が分岐するが, 一定比を維持するような比例極限を探索する。
  論文  参考訳（メタデータ） (2024-11-22T11:25:52Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
  本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。 解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。 注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
  論文  参考訳（メタデータ） (2023-10-16T19:00:43Z)
• Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths [3.0069322256338906]
  リプシッツ連続活性化関数と可変幅の重み行列を持つディープニューラルネットワークを考える。 特に、畳み込みニューラルネットワークは、幅が増大する重み行列を持つ特殊なディープニューラルネットワークであるため、マスクシーケンスに条件を提示する。 活性化関数上のリプシッツ連続性仮定は、アプリケーションでよく使われる活性化関数のほとんどを我々の理論に含めることができる。
  論文  参考訳（メタデータ） (2023-06-02T17:07:12Z)
• Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation [0.0]
  一般コンパクト領域上の積関数を近似する浅層ネットワークの複雑さの指数的下界を確立する。 また、この下界は単位立方体上の正規化リプシッツ単項数には適用されないことを示した。
  論文  参考訳（メタデータ） (2023-03-06T23:01:53Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
  線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。 層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
  論文  参考訳（メタデータ） (2021-12-08T16:17:33Z)
• Spectral Complexity-scaled Generalization Bound of Complex-valued Neural Networks [78.64167379726163]
  本論文は,複素数値ニューラルネットワークの一般化を証明した最初の論文である。 複雑な値の畳み込みニューラルネットワークを異なるデータセット上でトレーニングして実験を行う。
  論文  参考訳（メタデータ） (2021-12-07T03:25:25Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。