論文の概要: Towards a mathematical framework to inform Neural Network modelling via Polynomial Regression

• arxiv url: http://arxiv.org/abs/2102.03865v1
• Date: Sun, 7 Feb 2021 17:56:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 16:02:31.564106
• Title: Towards a mathematical framework to inform Neural Network modelling via Polynomial Regression
• Title（参考訳）: 多項式回帰によるニューラルネットワークモデリングの数学的枠組みの実現に向けて
• Authors: Pablo Morala (1), Jenny Alexandra Cifuentes (1), Rosa E. Lillo (1 and 2), I\~naki Ucar (1) ((1) uc3m-Santander Big Data Institute, Universidad Carlos III de Madrid., (2) Department of Statistics, Universidad Carlos III de Madrid.)
• Abstract要約: 特定の条件が局所的に満たされた場合、ほぼ同一の予測が可能であることが示されている。 生成したデータから学習すると,そのデータを局所的に近似的に生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Even when neural networks are widely used in a large number of applications, they are still considered as black boxes and present some difficulties for dimensioning or evaluating their prediction error. This has led to an increasing interest in the overlapping area between neural networks and more traditional statistical methods, which can help overcome those problems. In this article, a mathematical framework relating neural networks and polynomial regression is explored by building an explicit expression for the coefficients of a polynomial regression from the weights of a given neural network, using a Taylor expansion approach. This is achieved for single hidden layer neural networks in regression problems. The validity of the proposed method depends on different factors like the distribution of the synaptic potentials or the chosen activation function. The performance of this method is empirically tested via simulation of synthetic data generated from polynomials to train neural networks with different structures and hyperparameters, showing that almost identical predictions can be obtained when certain conditions are met. Lastly, when learning from polynomial generated data, the proposed method produces polynomials that approximate correctly the data locally.
• Abstract（参考訳）: ニューラルネットワークが多くのアプリケーションで広く使われているとしても、ブラックボックスとして見なされ、予測エラーを測ったり評価したりすることは困難である。 これにより、ニューラルネットワークと従来の統計手法の重複領域への関心が高まり、これらの問題を克服するのに役立ちます。 本稿では,与えられたニューラルネットワークの重みから多項式回帰係数の明示的な表現をテイラー展開法を用いて構築することにより,ニューラルネットワークと多項式回帰に関する数学的枠組みを考察する。 これは回帰問題において単一の隠れ層ニューラルネットワークで実現される。 提案手法の妥当性は, シナプス電位の分布や選択された活性化関数など, 異なる要因に依存する。 本手法の性能は, 多項式から生成された合成データのシミュレーションにより, 異なる構造とハイパーパラメータを持つニューラルネットワークを訓練することにより, 一定の条件が満たされた場合, ほぼ同一の予測が得られることを示す。 最後に、多項式生成データから学習する場合、提案手法はデータを局所的に近似する多項式を生成する。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Bayesian polynomial neural networks and polynomial neural ordinary differential equations [4.550705124365277]
  ニューラルネットワークとニューラル常微分方程式(ODE)によるシンボリック回帰は、多くの科学・工学問題の方程式回復のための強力なアプローチである。 これらの手法はモデルパラメータの点推定を提供しており、現在ノイズの多いデータに対応できない。 この課題は、ラプラス近似、マルコフ連鎖モンテカルロサンプリング法、ベイズ変分推定法の開発と検証によって解決される。
  論文  参考訳（メタデータ） (2023-08-17T05:42:29Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Open- and Closed-Loop Neural Network Verification using Polynomial Zonotopes [6.591194329459251]
  本稿では, 密接な非接触活性化関数を効率的に計算するための新しい手法を提案する。 特に,各ニューロンの入力出力関係を近似を用いて評価する。 その結果、他の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2022-07-06T14:39:19Z)
• Bagged Polynomial Regression and Neural Networks [0.0]
  時系列とデータセットの回帰は、ニューラルネットワークと同じ関数クラスを近似することができる。 textitbagged regression (BPR)は、ニューラルネットワークの魅力的な代替品である。 BPRは、衛星データを用いた作物分類において、ニューラルネットワークと同様に機能する。
  論文  参考訳（メタデータ） (2022-05-17T19:55:56Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• NN2Poly: A polynomial representation for deep feed-forward artificial neural networks [0.6502001911298337]
  NN2Polyは、すでに訓練済みの完全接続フィードフォワード人工ニューラルネットワークの明示的なモデルを得るための理論的アプローチである。 このアプローチは、単一の隠蔽層ネットワークに限定された文献で提案された以前の考え方を拡張している。
  論文  参考訳（メタデータ） (2021-12-21T17:55:22Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
  この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。 我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。 残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
  論文  参考訳（メタデータ） (2020-01-07T13:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。