論文の概要: Perceptron Theory for Predicting the Accuracy of Neural Networks
- arxiv url: http://arxiv.org/abs/2012.07881v1
- Date: Mon, 14 Dec 2020 19:02:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-08 19:30:13.553030
- Title: Perceptron Theory for Predicting the Accuracy of Neural Networks
- Title（参考訳）: ニューラルネットワークの精度予測のためのパーセプトロン理論
- Authors: Denis Kleyko, Antonello Rosato, E. Paxon Frady, Massimo Panella,
Friedrich T. Sommer
- Abstract要約: 分類タスクのパフォーマンスを予測できる1層パーセプトロンの理論を開発しています。
この研究は、ディープニューラルネットワークを理解するための単純で二部的なアプローチを提供する。
- 参考スコア（独自算出の注目度）: 5.575293536755126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many neural network models have been successful at classification problems,
but their operation is still treated as a black box. Here, we developed a
theory for one-layer perceptrons that can predict performance on classification
tasks. This theory is a generalization of an existing theory for predicting the
performance of Echo State Networks and connectionist models for symbolic
reasoning known as Vector Symbolic Architectures. In this paper, we first show
that the proposed perceptron theory can predict the performance of Echo State
Networks, which could not be described by the previous theory. Second, we apply
our perceptron theory to the last layers of shallow randomly connected and deep
multi-layer networks. The full theory is based on Gaussian statistics, but it
is analytically intractable. We explore numerical methods to predict network
performance for problems with a small number of classes. For problems with a
large number of classes, we investigate stochastic sampling methods and a
tractable approximation to the full theory. The quality of predictions is
assessed in three experimental settings, using reservoir computing networks on
a memorization task, shallow randomly connected networks on a collection of
classification datasets, and deep convolutional networks with the ImageNet
dataset. This study offers a simple, bipartite approach to understand deep
neural networks: the input is encoded by the last-but-one layers into a
high-dimensional representation. This representation is mapped through the
weights of the last layer into the postsynaptic sums of the output neurons.
Specifically, the proposed perceptron theory uses the mean vector and
covariance matrix of the postsynaptic sums to compute classification accuracies
for the different classes. The first two moments of the distribution of the
postsynaptic sums can predict the overall network performance quite accurately.
- Abstract（参考訳）: 多くのニューラルネットワークモデルは分類問題で成功したが、それでもブラックボックスとして扱われている。
そこで我々は,分類タスクの性能を予測できる一層パーセプトロンの理論を開発した。
この理論は、ベクトルシンボリックアーキテクチャとして知られる記号推論のためのエコー状態ネットワークとコネクショニストモデルの性能を予測する既存の理論の一般化である。
本稿では,提案するパーセプトロン理論が,従来の理論では説明できないエコー状態ネットワークの性能を予測できることを示す。
第二に、我々のパーセプトロン理論を、浅層無作為接続および深層多層ネットワークの最後の層に適用する。
完全理論はガウス統計に基づいているが、解析的に解析可能である。
クラス数が少ない問題に対して,ネットワーク性能を予測する数値計算法について検討する。
多数のクラスを扱う問題に対して,確率的サンプリング法と全理論へのトラクタブル近似について検討する。
予測の質は,記憶タスク上の貯水池コンピューティングネットワーク,分類データセットの集合上の浅いランダム接続ネットワーク,ImageNetデータセットによる深部畳み込みネットワークの3つの実験条件で評価される。
この研究は、ディープニューラルネットワークを理解するための単純で二部的なアプローチを提供する。入力は、最後の1層で符号化され、高次元の表現になる。
この表現は、最後の層の重みを通して出力ニューロンのシナプス後和にマッピングされる。
具体的には、提案するパーセプトロン理論は、後シナプス和の平均ベクトルと共分散行列を用いて、異なるクラスに対する分類精度を計算する。
シナプス後和の分布の最初の2つの瞬間は、ネットワーク全体の性能を正確に予測することができる。
関連論文リスト
- A Spectral Theory of Neural Prediction and Alignment [8.65717258105897]
我々は、回帰からモデルと対象のスペクトル特性への一般化誤差を関連づける最近の理論的枠組みを用いる。
我々は、視覚的皮質活動を予測するディープニューラルネットワークを多数テストし、回帰によって測定された低ニューラルネットワーク予測誤差をもたらす複数のタイプのジオメトリーが存在することを示す。
論文 参考訳（メタデータ） (2023-09-22T12:24:06Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
論文 参考訳（メタデータ） (2023-05-26T04:34:28Z) - Theoretical analysis of deep neural networks for temporally dependent
observations [1.6752182911522522]
非線形時系列データのモデリングにおけるディープニューラルネットワークの理論的性質について検討する。
結果は、様々な数値シミュレーション設定とマクロ経済データセットへの応用を通してサポートされる。
論文 参考訳（メタデータ） (2022-10-20T18:56:37Z) - Pyramidal Predictive Network: A Model for Visual-frame Prediction Based
on Predictive Coding Theory [1.4610038284393165]
本稿では,視覚的フレーム予測のためのニューラルネットワークモデルを提案する。
このモデルは、トップダウンストリームとボトムアップストリームを形成する一連の繰り返しおよび畳み込みユニットで構成されている。
ネットワークの各レイヤにConvLSTMを配置し、トップからダウンまでの局所的な予測を行う。
論文 参考訳（メタデータ） (2022-08-15T06:28:34Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z) - The Gaussian equivalence of generative models for learning with shallow
neural networks [30.47878306277163]
本研究では,事前学習した生成モデルから得られたデータに基づいて学習したニューラルネットワークの性能について検討する。
この等価性を裏付ける厳密で解析的で数値的な証拠を3本提供します。
これらの結果は、現実的なデータを持つ機械学習モデルの理論研究への有効な道を開く。
論文 参考訳（メタデータ） (2020-06-25T21:20:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。