Fugu-MT 論文翻訳(概要): Provable Memorization via Deep Neural Networks using Sub-linear Parameters

論文の概要: Provable Memorization via Deep Neural Networks using Sub-linear Parameters

arxiv url: http://arxiv.org/abs/2010.13363v2
Date: Tue, 2 Nov 2021 15:33:07 GMT
ステータス: 処理完了
システム内更新日: 2022-10-02 19:31:50.591661
Title: Provable Memorization via Deep Neural Networks using Sub-linear Parameters
Title（参考訳）: サブ線形パラメータを用いたディープニューラルネットワークによる確率記憶
Authors: Sejun Park, Jaeho Lee, Chulhee Yun, Jinwoo Shin
Abstract要約: O(N)$パラメータはニューラルネットワークが任意の$N$入力ラベルペアを記憶するのに十分であることが知られている。深度を利用して,$O(N2/3)$パラメータが入力点分離の軽度条件下で,$N$ペアを記憶するのに十分であることを示す。
参考スコア（独自算出の注目度）: 91.0268925267129
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is known that $O(N)$ parameters are sufficient for neural networks to memorize arbitrary $N$ input-label pairs. By exploiting depth, we show that $O(N^{2/3})$ parameters suffice to memorize $N$ pairs, under a mild condition on the separation of input points. In particular, deeper networks (even with width $3$) are shown to memorize more pairs than shallow networks, which also agrees with the recent line of works on the benefits of depth for function approximation. We also provide empirical results that support our theoretical findings.
Abstract（参考訳）: O(N)$パラメータはニューラルネットワークが任意の$N$入力ラベルペアを記憶するのに十分であることが知られている。深度を利用して,$O(N^{2/3})$パラメータが入力点分離の軽度条件下で,$N$ペアを記憶するのに十分であることを示す。特に、深層ネットワーク(幅が3ドルであっても)は浅いネットワークよりも多くのペアを記憶していることが示されており、関数近似の深さの利点に関する最近の研究とも一致している。理論的な結果を支持する実証的な結果も提供する。

関連論文リスト

Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文参考訳（メタデータ） (2024-05-26T17:08:04Z)
Optimal Approximation and Learning Rates for Deep Convolutional Neural Networks [17.075804626858748]
本稿では,ゼロパディングと最大プーリングを併用した深部畳み込みニューラルネットワークの近似と学習性能解析に着目する。近似関数として,深度$L$の深部畳み込みニューラルネットワークの近似速度が,対数係数に最適化された次数$ (L2/log L)-2r/d $であることが証明された。
論文参考訳（メタデータ） (2023-08-07T02:37:02Z)
Rates of Approximation by ReLU Shallow Neural Networks [8.22379888383833]
隠れたニューロンが$m$のReLU浅部ニューラルネットワークは、H"古い空間からの関数を均一に近似できることを示す。そのようなレートは$O(m-fracrd)$に非常に近いが、$fracd+2d+4d+4$は、$d$が大きければ1ドルに近いという意味では$O(m-fracrd)$である。
論文参考訳（メタデータ） (2023-07-24T00:16:50Z)
Sharp Lower Bounds on Interpolation by Deep ReLU Neural Networks at Irregularly Spaced Data [2.7195102129095003]
Deep ReLUニューラルネットワークは、距離$delta$で区切られた$N$のデータポイントで値を補間することができる。我々は$Omega(N)$パラメータが、$delta$が$N$で指数関数的に小さい状態において必要であることを示す。アプリケーションとして、埋め込みエンドポイントにおけるソボレフ空間に対して、深いReLUニューラルネットワークが達成できる近似率に、低いバウンダリを与える。
論文参考訳（メタデータ） (2023-02-02T02:46:20Z)
Memorization and Optimization in Deep Neural Networks with Minimum Over-parameterization [14.186776881154127]
Neural Tangent Kernel(NTK)は、ディープニューラルネットワークにおける記憶、最適化、一般化の保証を提供する強力なツールとして登場した。 NTKは、挑戦的なサブ線形設定においてよく条件付けされていることを示す。我々の重要な技術的貢献は、ディープネットワークにおける最小のNTK固有値の低い境界である。
論文参考訳（メタデータ） (2022-05-20T14:50:24Z)
On the Optimal Memorization Power of ReLU Neural Networks [53.15475693468925]
フィードフォワードReLUニューラルネットワークは、軽度の分離可能性仮定を満たす任意のN$ポイントを記憶することができることを示す。このような大きなビットの複雑性を持つことは、サブ線形数のパラメータを記憶するのに必要であり、十分であることを示す。
論文参考訳（メタデータ） (2021-10-07T05:25:23Z)
Exploring the Common Principal Subspace of Deep Features in Neural Networks [50.37178960258464]
我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
論文参考訳（メタデータ） (2021-10-06T15:48:32Z)
Function approximation by deep neural networks with parameters $\{0,\pm \frac{1}{2}, \pm 1, 2\}$ [91.3755431537592]
C_beta$-smooth関数は、パラメータ$0,pm frac12, pm 1, 2$のニューラルネットワークによって近似できることが示されている。構築されたネットワークの深さ、幅、およびアクティブパラメータの数は、対数係数まで、$[-1,1]$のパラメータを持つネットワークと同じ近似誤差に依存します。
論文参考訳（メタデータ） (2021-03-15T19:10:02Z)
Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。