論文の概要: Memorization capacity of deep ReLU neural networks characterized by width and depth

• arxiv url: http://arxiv.org/abs/2603.09589v1
• Date: Tue, 10 Mar 2026 12:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.307805
• Title: Memorization capacity of deep ReLU neural networks characterized by width and depth
• Title（参考訳）: 幅と深さを特徴とする深部ReLUニューラルネットワークの記憶能力
• Authors: Xin Yang, Yunfei Yang,
• Abstract要約: このようなネットワークの最小サイズを単位球内の任意の$N$データポイントに対して、ペア分離距離$$と離散ラベルで調べる。 これらの結果は、W2L2=mathcalO(Nlog(-1))$を満足する幅$W$と深さ$L$のニューラルネットワークを構築し、N$のデータサンプルを記憶することができる。
• 参考スコア（独自算出の注目度）: 6.470608385839099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the memorization capacity of deep neural networks with ReLU activation. Specifically, we investigate the minimal size of such networks to memorize any $N$ data points in the unit ball with pairwise separation distance $δ$ and discrete labels. Most prior studies characterize the memorization capacity by the number of parameters or neurons. We generalize these results by constructing neural networks, whose width $W$ and depth $L$ satisfy $W^2L^2= \mathcal{O}(N\log(δ^{-1}))$, that can memorize any $N$ data samples. We also prove that any such networks should also satisfy the lower bound $W^2L^2=Ω(N \log(δ^{-1}))$, which implies that our construction is optimal up to logarithmic factors when $δ^{-1}$ is polynomial in $N$. Hence, we explicitly characterize the trade-off between width and depth for the memorization capacity of deep neural networks in this regime.
• Abstract（参考訳）: 本稿では,ReLUを活性化したディープニューラルネットワークの記憶能力について検討する。 具体的には、単位球内の任意の$N$データポイントを、ペア分離距離$δ$と離散ラベルで記憶するために、そのようなネットワークの最小サイズについて検討する。 ほとんどの先行研究では、記憶能力はパラメータやニューロンの数によって特徴づけられる。 これらの結果は、W$と深さ$L$が$W^2L^2= \mathcal{O}(N\log(δ^{-1}))$を満たすニューラルネットワークの構築によって一般化される。 また、そのようなネットワークが下界の$W^2L^2=Ω(N \log(δ^{-1}))$を満たすことも証明し、$δ^{-1}$が$N$の多項式であるときの対数係数に最適であることを示す。 したがって、この状態における深部ニューラルネットワークの記憶能力の幅と深さのトレードオフを明示的に特徴づける。

関連論文リスト

• Logarithmic Width Suffices for Robust Memorization [38.19943264276415]
  特定のアーキテクチャを持つニューラルネットワークの記憶能力は 徹底的に研究されている 本稿では,フィードフォワードReLUニューラルネットワークがいかに頑健に記憶できるかという自然問題について考察する。
  論文  参考訳（メタデータ） (2025-02-16T15:28:21Z)
• Constructive Universal Approximation and Finite Sample Memorization by Narrow Deep ReLU Networks [0.0]
  我々は$N$の異なる点を持つデータセットが$mathbbRd$と$M$の出力クラスを正確に分類できることを示した。 また、任意の有界領域に対して$Lp(Omega; mathbbRm)$の普遍近似定理も証明する。 我々の結果は、深層ニューラルネットワークにおける制御性、表現性、およびトレーニングのダイナミクスを接続する統一的で解釈可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Rates of Approximation by ReLU Shallow Neural Networks [8.22379888383833]
  隠れたニューロンが$m$のReLU浅部ニューラルネットワークは、H"古い空間からの関数を均一に近似できることを示す。 そのようなレートは$O(m-fracrd)$に非常に近いが、$fracd+2d+4d+4$は、$d$が大きければ1ドルに近いという意味では$O(m-fracrd)$である。
  論文  参考訳（メタデータ） (2023-07-24T00:16:50Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• On the Optimal Memorization Power of ReLU Neural Networks [53.15475693468925]
  フィードフォワードReLUニューラルネットワークは、軽度の分離可能性仮定を満たす任意のN$ポイントを記憶することができることを示す。 このような大きなビットの複雑性を持つことは、サブ線形数のパラメータを記憶するのに必要であり、十分であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T05:25:23Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Provable Memorization via Deep Neural Networks using Sub-linear Parameters [91.0268925267129]
  O(N)$パラメータはニューラルネットワークが任意の$N$入力ラベルペアを記憶するのに十分であることが知られている。 深度を利用して,$O(N2/3)$パラメータが入力点分離の軽度条件下で,$N$ペアを記憶するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-10-26T06:19:38Z)
• Network size and weights size for memorization with two-layers neural networks [15.333300054767726]
  本稿では,ニューロンの複雑な再結合をベースとしたReLUネットワークの新しいトレーニング手順を提案する。 Oleft(fracnd cdot fraclog(1/epsilon)epsilonright)$のニューロンと、体重のほぼ最適サイズの両方で近似記憶を示す。
  論文  参考訳（メタデータ） (2020-06-04T13:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。