Fugu-MT 論文翻訳(概要): Memory capacity of neural networks with threshold and ReLU activations

論文の概要: Memory capacity of neural networks with threshold and ReLU activations

arxiv url: http://arxiv.org/abs/2001.06938v2
Date: Tue, 2 Jun 2020 18:38:18 GMT
ステータス: 処理完了
システム内更新日: 2023-01-08 04:56:56.739346
Title: Memory capacity of neural networks with threshold and ReLU activations
Title（参考訳）: しきい値とReLUアクティベーションを有するニューラルネットワークのメモリ容量
Authors: Roman Vershynin
Abstract要約: わずかに過度にパラメータ化されたニューラルネットワークは、トレーニングデータを100%の精度で記憶することができる。この現象が一般的な多層パーセプトロンに対して成り立つことを証明している。
参考スコア（独自算出の注目度）: 2.5889737226898437
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Overwhelming theoretical and empirical evidence shows that mildly overparametrized neural networks -- those with more connections than the size of the training data -- are often able to memorize the training data with $100\%$ accuracy. This was rigorously proved for networks with sigmoid activation functions and, very recently, for ReLU activations. Addressing a 1988 open question of Baum, we prove that this phenomenon holds for general multilayered perceptrons, i.e. neural networks with threshold activation functions, or with any mix of threshold and ReLU activations. Our construction is probabilistic and exploits sparsity.
Abstract（参考訳）: 圧倒的な理論と実証的な証拠は、ゆるやかにパラメータ化されたニューラルネットワーク -- トレーニングデータのサイズよりも多くの接続を持つ — が、トレーニングデータを100〜%の精度で記憶できることを示しています。これは、sgmoidアクティベーション機能を持つネットワークと、最近ではreluアクティベーションに対して厳密に証明された。 1988年のBaumに関するオープンな質問に対して、この現象は一般的な多層パーセプトロン、すなわちしきい値活性化関数を持つニューラルネットワーク、あるいはしきい値とReLUアクティベーションの混合に有効であることを示す。私たちの建設は確率的であり、幅を生かす。

関連論文リスト

Towards Utilising a Range of Neural Activations for Comprehending Representational Associations [0.6554326244334868]
ディープニューラルネットワークにおける中間表現をラベル付けするアプローチでは,その振る舞いに関する貴重な情報を捕捉できないことを示す。非極端レベルのアクティベーションには、調査する価値のある複雑な情報が含まれていると仮定する。そこで本研究では,中間領域のロジットサンプルから得られたデータを用いて,スプリアス相関を緩和する手法を開発した。
論文参考訳（メタデータ） (2024-11-15T07:54:14Z)
Spiking representation learning for associative memories [0.0]
本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
論文参考訳（メタデータ） (2024-06-05T08:30:11Z)
Analyzing the Neural Tangent Kernel of Periodically Activated Coordinate Networks [30.92757082348805]
ニューラルタンジェントカーネル(NTK)の解析を通して周期的に活性化されるネットワークの理論的理解を提供する。 NTKの観点から,周期的に活性化されるネットワークは,ReLU活性化ネットワークよりもテキスト的に良好であることが示唆された。
論文参考訳（メタデータ） (2024-02-07T12:06:52Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文参考訳（メタデータ） (2023-01-11T17:57:33Z)
Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。重要なことは、情報組織が記憶の2つの形態を指していることである。
論文参考訳（メタデータ） (2022-10-17T20:15:24Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文参考訳（メタデータ） (2022-02-24T14:22:32Z)
What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文参考訳（メタデータ） (2021-06-12T13:05:11Z)
Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
論文参考訳（メタデータ） (2021-04-01T13:03:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。