論文の概要: A function space analysis of finite neural networks with insights from sampling theory

• arxiv url: http://arxiv.org/abs/2004.06989v2
• Date: Fri, 25 Feb 2022 18:58:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 03:21:34.224738
• Title: A function space analysis of finite neural networks with insights from sampling theory
• Title（参考訳）: サンプリング理論に基づく有限ニューラルネットワークの関数空間解析
• Authors: Raja Giryes
• Abstract要約: 非拡張活性化関数を持つ多層ネットワークが生成する関数空間は滑らかであることを示す。 入力が帯域制限の仮定の下では、新しいエラー境界を提供する。 前者の利点を示す決定論的一様とランダムサンプリングの両方を解析した。
• 参考スコア（独自算出の注目度）: 41.07083436560303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work suggests using sampling theory to analyze the function space represented by neural networks. First, it shows, under the assumption of a finite input domain, which is the common case in training neural networks, that the function space generated by multi-layer networks with non-expansive activation functions is smooth. This extends over previous works that show results for the case of infinite width ReLU networks. Then, under the assumption that the input is band-limited, we provide novel error bounds for univariate neural networks. We analyze both deterministic uniform and random sampling showing the advantage of the former.
• Abstract（参考訳）: この研究は、サンプリング理論を用いてニューラルネットワークで表される関数空間を分析することを提案する。 まず、ニューラルネットワークのトレーニングにおいて一般的な有限入力領域の仮定の下で、非拡張活性化関数を持つ多層ネットワークによって生成される関数空間は滑らかであることを示す。 これは、無限幅ReLUネットワークの場合の結果を示す以前の研究よりも拡張される。 そして、入力が帯域制限の仮定の下で、単変量ニューラルネットワークに対して新しいエラー境界を提供する。 前者の利点を示す決定論的均一性とランダムサンプリングの両方を解析した。

関連論文リスト

• Points of non-linearity of functions generated by random neural networks [0.0]
  1つの隠れ活性化層、任意の幅、ReLU活性化関数を持つニューラルネットワークによって出力される実数から実数への関数を考える。 非線型性の点の期待分布を計算する。
  論文  参考訳（メタデータ） (2023-04-19T17:40:19Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Probabilistic Verification of ReLU Neural Networks via Characteristic Functions [11.489187712465325]
  我々は、周波数領域における確率理論のアイデアを用いて、ReLUニューラルネットワークの確率論的検証保証を提供する。 我々は、(深い)フィードフォワードニューラルネットワークを有限地平線上の離散力学系として解釈する。 出力集合の累積分布関数を求め,ネットワークが期待通りに動作しているかどうかを確認する。
  論文  参考訳（メタデータ） (2022-12-03T05:53:57Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks [19.216784367141972]
  本研究では,浅層(単層)ReLUニューラルネットワークを用いた雑音データから未知の関数を推定する問題について検討する。 我々は、データ生成関数がラドン領域における二階有界変動関数の空間に属するとき、これらのニューラルネットワーク推定器の性能を定量化する。
  論文  参考訳（メタデータ） (2021-09-18T05:56:06Z)
• On the space of coefficients of a Feed Forward Neural Network [0.0]
  ニューラルネットワークが一方向に線形に活性化されるような$mathcalN$を与えられた場合、等価な全てのニューラルネットワークを記述する係数の空間は半代数集合によって与えられる。 この結果は、与えられたピースワイド線型関数の異なる表現をタルスキ=セイデンベルグの定理を用いて研究することによって得られる。
  論文  参考訳（メタデータ） (2021-09-07T22:47:50Z)
• Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
  まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。 また,2層ニューラルネットワークについても同様の結果が得られた。
  論文  参考訳（メタデータ） (2021-08-10T23:30:29Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。