論文の概要: Perceptron Theory Can Predict the Accuracy of Neural Networks

• arxiv url: http://arxiv.org/abs/2012.07881v2
• Date: Thu, 20 Jul 2023 16:38:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 19:35:24.657522
• Title: Perceptron Theory Can Predict the Accuracy of Neural Networks
• Title（参考訳）: パーセプトロン理論はニューラルネットワークの精度を予測することができる
• Authors: Denis Kleyko, Antonello Rosato, E. Paxon Frady, Massimo Panella, Friedrich T. Sommer
• Abstract要約: 多層ニューラルネットワークは、多くの技術的分類問題に対する技術の現状を定めている。 しかし、これらのネットワークは基本的にはブラックボックスであり、分析してパフォーマンスを予測する。 本稿では, 1層パーセプトロンの統計的理論を開発し, 驚くほど多種多様なニューラルネットワークの性能を予測できることを示す。
• 参考スコア（独自算出の注目度）: 6.136302173351179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilayer neural networks set the current state of the art for many technical classification problems. But, these networks are still, essentially, black boxes in terms of analyzing them and predicting their performance. Here, we develop a statistical theory for the one-layer perceptron and show that it can predict performances of a surprisingly large variety of neural networks with different architectures. A general theory of classification with perceptrons is developed by generalizing an existing theory for analyzing reservoir computing models and connectionist models for symbolic reasoning known as vector symbolic architectures. Our statistical theory offers three formulas leveraging the signal statistics with increasing detail. The formulas are analytically intractable, but can be evaluated numerically. The description level that captures maximum details requires stochastic sampling methods. Depending on the network model, the simpler formulas already yield high prediction accuracy. The quality of the theory predictions is assessed in three experimental settings, a memorization task for echo state networks (ESNs) from reservoir computing literature, a collection of classification datasets for shallow randomly connected networks, and the ImageNet dataset for deep convolutional neural networks. We find that the second description level of the perceptron theory can predict the performance of types of ESNs, which could not be described previously. The theory can predict deep multilayer neural networks by being applied to their output layer. While other methods for prediction of neural networks performance commonly require to train an estimator model, the proposed theory requires only the first two moments of the distribution of the postsynaptic sums in the output neurons. The perceptron theory compares favorably to other methods that do not rely on training an estimator model.
• Abstract（参考訳）: 多層ニューラルネットワークは、多くの技術的分類問題に対する技術の現状を定めている。 しかし、これらのネットワークは基本的にはブラックボックスであり、分析してパフォーマンスを予測する。 本稿では,1層パーセプトロンの統計的理論を開発し,異なるアーキテクチャを持つ驚くほど多種多様なニューラルネットワークの性能を予測できることを示す。 パーセプトロンを用いた分類の一般的な理論は、ベクトル記号アーキテクチャとして知られるシンボリック推論のための貯水池計算モデルとコネクショニストモデルを分析するための既存の理論を一般化することによって展開される。 我々の統計理論は、信号統計を利用した3つの公式を提供する。 式は解析的に難解であるが、数値的に評価できる。 最大詳細をキャプチャする記述レベルには、確率的サンプリング方法が必要である。 ネットワークモデルによっては、単純な公式はすでに高い予測精度をもたらす。 理論予測の質は、貯水池計算文献からのエコー状態ネットワーク(ESN)の記憶タスク、浅いランダムに接続されたネットワークの分類データセットの収集、深層畳み込みニューラルネットワークのイメージNetデータセットの3つの実験環境で評価される。 パーセプトロン理論の2番目の記述レベルは,従来説明できなかったタイプのESNの性能を予測できることがわかった。 この理論は、その出力層に適用することで、深い多層ニューラルネットワークを予測することができる。 ニューラルネットワークの性能を予測する他の方法は、推定モデルの訓練を必要とすることが多いが、提案された理論は、出力ニューロンにおけるシナプス後和の分布の最初の2つのモーメントのみを必要とする。 パーセプトロン理論は、推定器モデルを訓練に依存しない他の方法と好意的に比較する。

関連論文リスト

• A Spectral Theory of Neural Prediction and Alignment [8.65717258105897]
  我々は、回帰からモデルと対象のスペクトル特性への一般化誤差を関連づける最近の理論的枠組みを用いる。 我々は、視覚的皮質活動を予測するディープニューラルネットワークを多数テストし、回帰によって測定された低ニューラルネットワーク予測誤差をもたらす複数のタイプのジオメトリーが存在することを示す。
  論文  参考訳（メタデータ） (2023-09-22T12:24:06Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• Theoretical analysis of deep neural networks for temporally dependent observations [1.6752182911522522]
  非線形時系列データのモデリングにおけるディープニューラルネットワークの理論的性質について検討する。 結果は、様々な数値シミュレーション設定とマクロ経済データセットへの応用を通してサポートされる。
  論文  参考訳（メタデータ） (2022-10-20T18:56:37Z)
• Pyramidal Predictive Network: A Model for Visual-frame Prediction Based on Predictive Coding Theory [1.4610038284393165]
  本稿では,視覚的フレーム予測のためのニューラルネットワークモデルを提案する。 このモデルは、トップダウンストリームとボトムアップストリームを形成する一連の繰り返しおよび畳み込みユニットで構成されている。 ネットワークの各レイヤにConvLSTMを配置し、トップからダウンまでの局所的な予測を行う。
  論文  参考訳（メタデータ） (2022-08-15T06:28:34Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• The Gaussian equivalence of generative models for learning with shallow neural networks [30.47878306277163]
  本研究では,事前学習した生成モデルから得られたデータに基づいて学習したニューラルネットワークの性能について検討する。 この等価性を裏付ける厳密で解析的で数値的な証拠を3本提供します。 これらの結果は、現実的なデータを持つ機械学習モデルの理論研究への有効な道を開く。
  論文  参考訳（メタデータ） (2020-06-25T21:20:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。