論文の概要: Approximation of BV functions by neural networks: A regularity theory approach

• arxiv url: http://arxiv.org/abs/2012.08291v2
• Date: Thu, 1 Apr 2021 13:35:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 11:52:29.639880
• Title: Approximation of BV functions by neural networks: A regularity theory approach
• Title（参考訳）: ニューラルネットワークによるBV関数の近似:正規性理論のアプローチ
• Authors: Benny Avelin and Vesa Julin
• Abstract要約: 我々は、単位円上にReLU活性化関数を持つ単一の隠れ層ニューラルネットワークによる関数の近似を懸念する。 まず,ペナリゼーションを伴うコスト関数に関連する勾配流の平衡への収束について検討した。 ペナリゼーションが有界な重みをバイアスするので、有界な重みを持つネットワークが有界な変動の与えられた関数をいかによく近似できるかを研究できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we are concerned with the approximation of functions by single hidden layer neural networks with ReLU activation functions on the unit circle. In particular, we are interested in the case when the number of data-points exceeds the number of nodes. We first study the convergence to equilibrium of the stochastic gradient flow associated with the cost function with a quadratic penalization. Specifically, we prove a Poincar\'e inequality for a penalized version of the cost function with explicit constants that are independent of the data and of the number of nodes. As our penalization biases the weights to be bounded, this leads us to study how well a network with bounded weights can approximate a given function of bounded variation (BV). Our main contribution concerning approximation of BV functions, is a result which we call the localization theorem. Specifically, it states that the expected error of the constrained problem, where the length of the weights are less than $R$, is of order $R^{-1/9}$ with respect to the unconstrained problem (the global optimum). The proof is novel in this topic and is inspired by techniques from regularity theory of elliptic partial differential equations. Finally we quantify the expected value of the global optimum by proving a quantitative version of the universal approximation theorem.
• Abstract（参考訳）: 本稿では、単位円上にReLU活性化関数を持つ単一の隠れ層ニューラルネットワークによる関数近似について検討する。 特に、データポイント数がノード数を超えた場合に興味があります。 まず,二次ペナリゼーションを伴うコスト関数に関連する確率的勾配流の平衡への収束について検討した。 具体的には、データとノード数とは独立な明示的な定数を持つコスト関数のペナルティ化バージョンに対するポアンカルの不等式を証明する。 ペナリゼーションは重み付けをバイアスするので、このことは、有界重み付きネットワークが与えられた有界変動(BV)の関数をどの程度うまく近似できるかを研究することに繋がる。 bv関数の近似に関する我々の主要な貢献は、局所化定理と呼ばれる結果である。 具体的には、制約付き問題(重みの長さが$r$ 以下である場合)の期待誤差は、制約付き問題(大域的最適問題)に対して順序が $r^{-1/9}$ である。 この証明はこの話題で新しく、楕円偏微分方程式の正則性理論の技法に着想を得たものである。 最後に、普遍近似定理の定量的バージョンを証明し、大域最適化の期待値を定量化する。

関連論文リスト

• Dimension-independent learning rates for high-dimensional classification problems [53.622581586464634]
  各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。 次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:13Z)
• Efficient uniform approximation using Random Vector Functional Link networks [0.0]
  ランダムベクトル関数リンク(英: Random Vector Functional Link, RVFL)は、ランダムな内部ノードとバイアスを持つディープ2ニューラルネットワークである。 本稿では、ReLUアクティベートされたRVFLがLipschitzターゲット関数を近似できることを示す。 我々の証明法は理論と調和解析に根ざしている。
  論文  参考訳（メタデータ） (2023-06-30T09:25:03Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)
• Interval Universal Approximation for Neural Networks [47.767793120249095]
  区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。 本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
  論文  参考訳（メタデータ） (2020-07-12T20:43:56Z)
• On Sharpness of Error Bounds for Multivariate Neural Network Approximation [0.0]
  この論文は、このようなリッジ関数の和による最良の非線形近似を扱う。 誤差境界は滑らかさのモジュライで表される。
  論文  参考訳（メタデータ） (2020-04-05T14:00:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。