Fugu-MT 論文翻訳(概要): Approximation bounds for norm constrained neural networks with applications to regression and GANs

論文の概要: Approximation bounds for norm constrained neural networks with applications to regression and GANs

arxiv url: http://arxiv.org/abs/2201.09418v1
Date: Mon, 24 Jan 2022 02:19:05 GMT
ステータス: 処理完了
システム内更新日: 2022-01-25 15:28:15.492471
Title: Approximation bounds for norm constrained neural networks with applications to regression and GANs
Title（参考訳）: 標準制約ニューラルネットワークの近似境界と回帰とGANへの応用
Authors: Yuling Jiao, Yang Wang, Yunfei Yang
Abstract要約: 本稿では,ReLUニューラルネットワークの近似誤差の上限値と下限値について,重みの基準値で検証する。我々はこれらの近似境界を適用し、ノルム制約付きニューラルネットワークを用いて回帰の収束を解析し、GANによる分布推定を行う。
参考スコア（独自算出の注目度）: 9.645327615996914
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper studies the approximation capacity of ReLU neural networks with norm constraint on the weights. We prove upper and lower bounds on the approximation error of these networks for smooth function classes. The lower bound is derived through the Rademacher complexity of neural networks, which may be of independent interest. We apply these approximation bounds to analyze the convergence of regression using norm constrained neural networks and distribution estimation by GANs. In particular, we obtain convergence rates for over-parameterized neural networks. It is also shown that GANs can achieve optimal rate of learning probability distributions, when the discriminator is a properly chosen norm constrained neural network.
Abstract（参考訳）: 本稿では,ReLUニューラルネットワークの重みに対する標準制約による近似能力について検討する。滑らかな関数クラスに対するこれらのネットワークの近似誤差の上限と下限を証明した。下限は、独立した関心を持つかもしれないニューラルネットワークのラデマッハ複雑性によって導かれる。これらの近似境界をノルム制約付きニューラルネットワークを用いた回帰収束解析とganによる分布推定に適用する。特に,超パラメータニューラルネットワークの収束率を求める。また、判別器が適切に選択されたノルム制約ニューラルネットワークである場合、GANが学習確率分布の最適速度を達成することも示している。

関連論文リスト

Stochastic Gradient Descent for Two-layer Neural Networks [2.0349026069285423]
本稿では、過パラメータ化された2層ニューラルネットワークに適用した場合の降下(SGD)アルゴリズムの収束率について検討する。提案手法は,NTKのタンジェントカーネル(NTK)近似と,NTKが生成する再生カーネル空間(RKHS)の収束解析を組み合わせたものである。我々の研究フレームワークは、カーネルメソッドと最適化プロセスの間の複雑な相互作用を探索し、ニューラルネットワークのダイナミクスと収束特性に光を当てることを可能にする。
論文参考訳（メタデータ） (2024-07-10T13:58:57Z)
Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression [12.21422686958087]
本研究では、浅いReLU$k$のニューラルネットワークに対応する変動空間の近似能力について検討する。滑らかさの低い関数に対しては、変動ノルムの観点から近似率が確立される。浅層ニューラルネットワークは,H"古い関数の学習に最適な最小値が得られることを示す。
論文参考訳（メタデータ） (2023-04-04T06:35:02Z)
Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。トラクタブル回路において,これを効率的に計算する方法を示す。我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文参考訳（メタデータ） (2023-02-28T00:04:22Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Learning Distributions by Generative Adversarial Networks: Approximation and Generalization [0.6768558752130311]
本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
論文参考訳（メタデータ） (2022-05-25T09:26:17Z)
Mean-Field Analysis of Two-Layer Neural Networks: Global Optimality with Linear Convergence Rates [7.094295642076582]
平均場体制はNTK(lazy training)体制の理論的に魅力的な代替手段である。平均場状態における連続ノイズ降下により訓練された2層ニューラルネットワークに対する線形収束結果を確立した。
論文参考訳（メタデータ） (2022-05-19T21:05:40Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
On the approximation of functions by tanh neural networks [0.0]
我々は、ソボレフ規則の近似で生じる高階ソボレフノルムにおける誤差の境界を導出する。 2つの隠れ層しか持たないtanhニューラルネットワークは、より深いreluニューラルネットワークよりも、同等あるいはそれ以上の速度で近似関数に十分であることを示す。
論文参考訳（メタデータ） (2021-04-18T19:30:45Z)
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。