論文の概要: On the Optimal Memorization Power of ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2110.03187v1
• Date: Thu, 7 Oct 2021 05:25:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:54:39.123884
• Title: On the Optimal Memorization Power of ReLU Neural Networks
• Title（参考訳）: ReLUニューラルネットワークの最適記憶力について
• Authors: Gal Vardi, Gilad Yehudai, Ohad Shamir
• Abstract要約: フィードフォワードReLUニューラルネットワークは、軽度の分離可能性仮定を満たす任意のN$ポイントを記憶することができることを示す。 このような大きなビットの複雑性を持つことは、サブ線形数のパラメータを記憶するのに必要であり、十分であることを示す。
• 参考スコア（独自算出の注目度）: 53.15475693468925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the memorization power of feedforward ReLU neural networks. We show that such networks can memorize any $N$ points that satisfy a mild separability assumption using $\tilde{O}\left(\sqrt{N}\right)$ parameters. Known VC-dimension upper bounds imply that memorizing $N$ samples requires $\Omega(\sqrt{N})$ parameters, and hence our construction is optimal up to logarithmic factors. We also give a generalized construction for networks with depth bounded by $1 \leq L \leq \sqrt{N}$, for memorizing $N$ samples using $\tilde{O}(N/L)$ parameters. This bound is also optimal up to logarithmic factors. Our construction uses weights with large bit complexity. We prove that having such a large bit complexity is both necessary and sufficient for memorization with a sub-linear number of parameters.
• Abstract（参考訳）: フィードフォワードReLUニューラルネットワークの記憶能力について検討する。 そのようなネットワークは、$\tilde{O}\left(\sqrt{N}\right)$パラメータを使って、穏やかな分離性仮定を満たす任意の$N$ポイントを記憶することができることを示す。 VC次元上界は、$N$サンプルを記憶するには$\Omega(\sqrt{N})$パラメータが必要であることを暗示している。 また、$\tilde{o}(n/l)$パラメータを使って$n$のサンプルを記憶するために、深さが$ \leq l \leq \sqrt{n}$ のネットワークの一般化構成を与える。 この境界は対数係数にも最適である。 私たちの構造は、大きな複雑さを持つ重みを使います。 このような大きなビット複雑性を持つことは、パラメータのサブ線形数を持つ記憶に必要かつ十分であることが証明される。

関連論文リスト

• Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
  我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。 また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• On the Complexity of Neural Computation in Superposition [3.9803704378699103]
  ニューラルネットワークの理解の最近の進歩は、重畳が大規模ネットワークの計算効率の根底にある重要なメカニズムであることを示唆している。 ペアワイズのような論理演算は、$O(sqrtm' log m')$ ニューロンと$O(m' log2 m')$パラメータで計算できる。 本研究は,ニューラルネットワークの解釈可能性研究における複雑性理論手法の活用の道を開くものである。
  論文  参考訳（メタデータ） (2024-09-05T18:58:59Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Spacetime-Efficient Low-Depth Quantum State Preparation with Applications [93.56766264306764]
  任意の量子状態を作成するための新しい決定論的手法は、以前の方法よりも少ない量子資源を必要とすることを示す。 我々は、量子機械学習、ハミルトンシミュレーション、方程式の線形系を解くことなど、この能力が役立ついくつかのアプリケーションを強調した。
  論文  参考訳（メタデータ） (2023-03-03T18:23:20Z)
• Quantum Resources Required to Block-Encode a Matrix of Classical Data [56.508135743727934]
  回路レベルの実装とリソース推定を行い、古典データの高密度な$Ntimes N$行列をブロックエンコードして$epsilon$を精度良くすることができる。 異なるアプローチ間のリソーストレードオフを調査し、量子ランダムアクセスメモリ(QRAM)の2つの異なるモデルの実装を検討する。 我々の結果は、単純なクエリの複雑さを超えて、大量の古典的データが量子アルゴリズムにアクセスできると仮定された場合のリソースコストの明確な図を提供する。
  論文  参考訳（メタデータ） (2022-06-07T18:00:01Z)
• Memorization and Optimization in Deep Neural Networks with Minimum Over-parameterization [14.186776881154127]
  Neural Tangent Kernel(NTK)は、ディープニューラルネットワークにおける記憶、最適化、一般化の保証を提供する強力なツールとして登場した。 NTKは、挑戦的なサブ線形設定においてよく条件付けされていることを示す。 我々の重要な技術的貢献は、ディープネットワークにおける最小のNTK固有値の低い境界である。
  論文  参考訳（メタデータ） (2022-05-20T14:50:24Z)
• An Exponential Improvement on the Memorization Capacity of Deep Threshold Networks [40.489350374378645]
  我々は$widetildemathcalO(e1/delta2+sqrtn)$ニューロンと$widetildemathcalO(fracddelta+n)$ウェイトが十分であることを証明した。 また、超平面を用いて球面上の$n$の点を分離する純粋に幾何学的な問題にニューラルネットワークを接続することで、新しい下界を証明した。
  論文  参考訳（メタデータ） (2021-06-14T19:42:32Z)
• Provable Memorization via Deep Neural Networks using Sub-linear Parameters [91.0268925267129]
  O(N)$パラメータはニューラルネットワークが任意の$N$入力ラベルペアを記憶するのに十分であることが知られている。 深度を利用して,$O(N2/3)$パラメータが入力点分離の軽度条件下で,$N$ペアを記憶するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-10-26T06:19:38Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。