論文の概要: On the accuracy of interpolation based on single-layer artificial neural
networks
- arxiv url: http://arxiv.org/abs/2308.10720v1
- Date: Mon, 21 Aug 2023 13:40:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 13:19:27.289001
- Title: On the accuracy of interpolation based on single-layer artificial neural
networks
- Title(参考訳): 単層人工ニューラルネットワークによる補間精度について
- Authors: Ferdinando Auricchio, Maria Roberta Belardo, Francesco Calabr\`o,
Ariel F. Pascaner
- Abstract要約: フィードフォワードアーキテクチャを持つ一層ANNを,浅層ネットワークあるいは二層ネットワークと呼ぶ。
エクストリーム・ラーニング・マシン(ELM)と呼ばれる手順を用いてパラメータを訓練する場合について述べる。
次に、与えられたサンプリングノードの外側の精度、Chebychev、およびランダムに選択されたノードに焦点が当てられる。
- 参考スコア(独自算出の注目度): 32.97208255533144
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the present paper, we consider one-hidden layer ANNs with a feedforward
architecture, also referred to as shallow or two-layer networks, so that the
structure is determined by the number and types of neurons. The determination
of the parameters that define the function, called training, is done via the
resolution of the approximation problem, so by imposing the interpolation
through a set of specific nodes. We present the case where the parameters are
trained using a procedure that is referred to as Extreme Learning Machine (ELM)
that leads to a linear interpolation problem. In such hypotheses, the existence
of an ANN interpolating function is guaranteed. The focus is then on the
accuracy of the interpolation outside of the given sampling interpolation nodes
when they are the equispaced, the Chebychev, and the randomly selected ones.
The study is motivated by the well-known bell-shaped Runge example, which makes
it clear that the construction of a global interpolating polynomial is accurate
only if trained on suitably chosen nodes, ad example the Chebychev ones. In
order to evaluate the behavior when growing the number of interpolation nodes,
we raise the number of neurons in our network and compare it with the
interpolating polynomial. We test using Runge's function and other well-known
examples with different regularities. As expected, the accuracy of the
approximation with a global polynomial increases only if the Chebychev nodes
are considered. Instead, the error for the ANN interpolating function always
decays and in most cases we observe that the convergence follows what is
observed in the polynomial case on Chebychev nodes, despite the set of nodes
used for training.
- Abstract(参考訳): 本稿では,1つの隠れた層ANNを浅層あるいは2層ネットワークとも呼ばれるフィードフォワードアーキテクチャで検討し,その構造をニューロンの数と種類によって決定する。
関数を定義するパラメータの決定は、トレーニングと呼ばれ、近似問題の解法によって行われ、そのため特定のノードの集合を通して補間を設定する。
本稿では,線形補間問題につながるエクストリーム学習機械(ELM)と呼ばれる手法を用いて,パラメータを訓練する場合について述べる。
このような仮説では、ANN補間関数の存在が保証される。
次に、与えられたサンプリング補間ノードの外側の補間が等しいとき、チェビチェフ、ランダムに選択された補間ノードの外側の補間精度に焦点が当てられる。
この研究は、よく知られたベル形のルンゲの例によって動機付けられており、大域補間多項式の構成は、好適に選択されたノード、例えばチェビチェフ多項式で訓練された場合にのみ正確であることを示す。
補間ノード数を増加させる際の挙動を評価するために,ネットワーク内のニューロン数を増加させ,補間多項式と比較する。
Runge関数や他のよく知られた例を使って、異なる正規性でテストする。
予想通り、大域多項式による近似の精度は、チェビチェフノードが考慮された場合にのみ増加する。
代わりに、アン補間関数の誤差は常に減少し、ほとんどの場合、訓練に使用されるノードの集合にもかかわらず、収束はチェビチェフノードの多項式ケースで観測されるものに従うことが観察される。
関連論文リスト
- Polynomial-Time Solutions for ReLU Network Training: A Complexity
Classification via Max-Cut and Zonotopes [70.52097560486683]
我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。
特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
論文 参考訳(メタデータ) (2023-11-18T04:41:07Z) - Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。
この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
論文 参考訳(メタデータ) (2023-04-13T16:58:21Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳(メタデータ) (2023-03-09T10:08:34Z) - Push--Pull with Device Sampling [8.344476599818826]
複数のエージェントが協力して、基礎となる通信グラフを交換することで、ローカル関数の平均を最小化する分散最適化問題を考察する。
ネットワーク全体の勾配追跡と分散低減を併用したアルゴリズムを提案する。
理論解析により,局所目的関数が強凸である場合,アルゴリズムは線形に収束することを示した。
論文 参考訳(メタデータ) (2022-06-08T18:18:18Z) - Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。
従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
論文 参考訳(メタデータ) (2022-02-16T21:24:54Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳(メタデータ) (2022-02-13T10:54:59Z) - Decentralized Multi-Task Stochastic Optimization With Compressed
Communications [22.31884634659446]
本稿では,ノードにおけるローカル情報可用性の2つのモデルに対して,アルゴリズムを開発し,性能バウンダリを求める。
グローバルな最小値からの逸脱と制約の違反は$mathcalO(T-frac12)$と$mathcalO(T-frac14)$によって上界されることを示す。
論文 参考訳(メタデータ) (2021-12-23T05:54:42Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Achieving Small Test Error in Mildly Overparameterized Neural Networks [30.664282759625948]
時間内にこれらの点の1つを見つけるアルゴリズムを示す。
さらに、我々は、完全に接続されたニューラルネットワークのために、データ分布に追加の仮定で、時間アルゴリズムがあることを証明します。
論文 参考訳(メタデータ) (2021-04-24T06:47:20Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。