論文の概要: Two-layer neural networks with values in a Banach space

• arxiv url: http://arxiv.org/abs/2105.02095v1
• Date: Wed, 5 May 2021 14:54:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 15:29:57.655941
• Title: Two-layer neural networks with values in a Banach space
• Title（参考訳）: バナッハ空間における値を持つ2層ニューラルネットワーク
• Authors: Yury Korolev
• Abstract要約: 本研究では,領域と範囲がバラッハ空間である2層ニューラルネットワークについて検討する。 非線形性として、正の部分を取る格子演算を選択し、$mathbb Rd$-valued ニューラルネットワークの場合、これはReLU活性化関数に対応する。
• 参考スコア（独自算出の注目度）: 1.90365714903665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study two-layer neural networks whose domain and range are Banach spaces with separable preduals. In addition, we assume that the image space is equipped with a partial order, i.e. it is a Riesz space. As the nonlinearity we choose the lattice operation of taking the positive part; in case of $\mathbb R^d$-valued neural networks this corresponds to the ReLU activation function. We prove inverse and direct approximation theorems with Monte-Carlo rates, extending existing results for the finite-dimensional case. In the second part of the paper, we consider training such networks using a finite amount of noisy observations from the regularisation theory viewpoint. We discuss regularity conditions known as source conditions and obtain convergence rates in a Bregman distance in the regime when both the noise level goes to zero and the number of samples goes to infinity at appropriate rates.
• Abstract（参考訳）: 本研究では,領域と範囲がバラッハ空間である2層ニューラルネットワークについて検討する。 さらに、画像空間には部分順序、すなわち部分順序が備わっていると仮定する。 これはリース空間である。 非線形性として、正の部分を取る格子演算を選択し、$\mathbb R^d$-valued ニューラルネットワークの場合、これはReLU活性化関数に対応する。 モンテカルロ率を持つ逆および直接近似定理を証明し、有限次元の場合の既存の結果を拡張する。 本稿の第2部では,正規化理論の観点から,有限量のノイズ観測を用いてネットワークを訓練することを検討する。 音源条件として知られる正則性条件について検討し,ノイズレベルが0,サンプル数が適切な速度で無限になる場合のブレグマン距離での収束率を求める。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Tangent Bundle Filters and Neural Networks: from Manifolds to Cellular Sheaves and Back [114.01902073621577]
  畳み込みを用いて、タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。 我々は、TNNを時間領域と空間領域の両方で識別し、その離散性は、最近導入されたSheaf Neural Networksの原則的な変種であることを示す。 単体2次元球面上の接ベクトル場の復調作業における提案手法の有効性を数値的に評価する。
  論文  参考訳（メタデータ） (2022-10-26T21:55:45Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
  近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。 p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。 古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
  論文  参考訳（メタデータ） (2021-10-28T17:11:38Z)
• Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
  まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。 また,2層ニューラルネットワークについても同様の結果が得られた。
  論文  参考訳（メタデータ） (2021-08-10T23:30:29Z)
• Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
  重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。 この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
  論文  参考訳（メタデータ） (2021-02-20T10:14:37Z)
• Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels [8.160343645537106]
  与えられたバナッハ空間の部分空間間のコルモゴロフ幅型のスケール分離を確立する。 再現されたカーネルヒルベルト空間は、高次元の2層ニューラルネットワークのクラスに対してL2$-approximatorが貧弱であることを示す。
  論文  参考訳（メタデータ） (2020-05-21T17:40:38Z)
• A function space analysis of finite neural networks with insights from sampling theory [41.07083436560303]
  非拡張活性化関数を持つ多層ネットワークが生成する関数空間は滑らかであることを示す。 入力が帯域制限の仮定の下では、新しいエラー境界を提供する。 前者の利点を示す決定論的一様とランダムサンプリングの両方を解析した。
  論文  参考訳（メタデータ） (2020-04-15T10:25:18Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。