論文の概要: On the accuracy of interpolation based on single-layer artificial neural networks with a focus on defeating the Runge phenomenon
- arxiv url: http://arxiv.org/abs/2308.10720v2
- Date: Tue, 7 May 2024 17:30:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 20:13:36.805363
- Title: On the accuracy of interpolation based on single-layer artificial neural networks with a focus on defeating the Runge phenomenon
- Title（参考訳）: ランジュ現象の打ち消しに着目した単層人工ニューラルネットワークによる補間精度について
- Authors: Ferdinando Auricchio, Maria Roberta Belardo, Gianluca Fabiani, Francesco Calabrò, Ariel F. Pascaner,
- Abstract要約: フィードフォワードアーキテクチャを持つ一層ANNを,浅層ネットワークあるいは二層ネットワークと呼ぶ。
エクストリーム・ラーニング・マシン(ELM)と呼ばれる手順を用いてパラメータを訓練する場合について述べる。
次に、与えられたサンプリングノードの外側の精度、Chebychev、およびランダムに選択されたノードに焦点が当てられる。
- 参考スコア（独自算出の注目度）: 29.004178992441336
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the present paper, we consider one-hidden layer ANNs with a feedforward architecture, also referred to as shallow or two-layer networks, so that the structure is determined by the number and types of neurons. The determination of the parameters that define the function, called training, is done via the resolution of the approximation problem, so by imposing the interpolation through a set of specific nodes. We present the case where the parameters are trained using a procedure that is referred to as Extreme Learning Machine (ELM) that leads to a linear interpolation problem. In such hypotheses, the existence of an ANN interpolating function is guaranteed. The focus is then on the accuracy of the interpolation outside of the given sampling interpolation nodes when they are the equispaced, the Chebychev, and the randomly selected ones. The study is motivated by the well-known bell-shaped Runge example, which makes it clear that the construction of a global interpolating polynomial is accurate only if trained on suitably chosen nodes, ad example the Chebychev ones. In order to evaluate the behavior when growing the number of interpolation nodes, we raise the number of neurons in our network and compare it with the interpolating polynomial. We test using Runge's function and other well-known examples with different regularities. As expected, the accuracy of the approximation with a global polynomial increases only if the Chebychev nodes are considered. Instead, the error for the ANN interpolating function always decays and in most cases we observe that the convergence follows what is observed in the polynomial case on Chebychev nodes, despite the set of nodes used for training.
- Abstract（参考訳）: 本稿では,1つの隠れた層ANNを浅層あるいは2層ネットワークとも呼ばれるフィードフォワードアーキテクチャで検討し,その構造をニューロンの数と種類によって決定する。
関数を定義するパラメータの決定は、トレーニングと呼ばれ、近似問題の解決によって行われ、特定のノードの集合を通して補間を行う。
本稿では,線形補間問題につながるエクストリーム学習機械(ELM)と呼ばれる手法を用いて,パラメータを訓練する場合について述べる。
このような仮説では、ANN補間関数の存在が保証される。
次に、与えられたサンプリング補間ノードの外側の補間が等しいとき、チェビチェフ、ランダムに選択された補間ノードの外側の補間精度に焦点が当てられる。
この研究は、よく知られたベル形のルンゲの例によって動機付けられており、大域補間多項式の構成は、好適に選択されたノード、例えばチェビチェフ多項式で訓練された場合に限って正確であることを明確にしている。
補間ノード数を増大させる際の動作を評価するため,ネットワーク内のニューロン数を増加させ,補間多項式と比較する。
Runge関数や他のよく知られた例を使って、異なる正規性でテストする。
予想通り、大域多項式による近似の精度は、チェビチェフノードが考慮される場合にのみ増加する。
代わりに、ANN補間関数の誤差は常に減衰し、ほとんどの場合、この収束はチェビチェフノード上の多項式ケースで観測されるものに従う。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Approximation and interpolation of deep neural networks [0.0]
過度にパラメータ化された状態において、ディープニューラルネットワークは普遍的な近似を提供し、任意のデータセットを補間することができる。
最後の節では、活性化関数の一般的な条件下でそのような点を見つけるための実用的な確率的方法を提案する。
論文 参考訳（メタデータ） (2023-04-20T08:45:16Z) - Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。
この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
論文 参考訳（メタデータ） (2023-04-13T16:58:21Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳（メタデータ） (2023-03-09T10:08:34Z) - Push--Pull with Device Sampling [8.344476599818826]
複数のエージェントが協力して、基礎となる通信グラフを交換することで、ローカル関数の平均を最小化する分散最適化問題を考察する。
ネットワーク全体の勾配追跡と分散低減を併用したアルゴリズムを提案する。
理論解析により,局所目的関数が強凸である場合,アルゴリズムは線形に収束することを示した。
論文 参考訳（メタデータ） (2022-06-08T18:18:18Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳（メタデータ） (2022-02-13T10:54:59Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Structure-aware Interactive Graph Neural Networks for the Prediction of
Protein-Ligand Binding Affinity [52.67037774136973]
薬物発見はタンパク質-リガンド結合親和性の予測にしばしば依存する。
近年の進歩は、タンパク質-リガンド複合体の表現を学習することで、グラフニューラルネットワーク(GNN)をより良い親和性予測に応用する大きな可能性を示している。
ポーラインスパイアグラフアテンション層(PGAL)とペア・インタラクティブ・プール(PiPool)の2つのコンポーネントから構成される構造対応型インタラクティブグラフニューラルネットワーク(SIGN)を提案する。
論文 参考訳（メタデータ） (2021-07-21T03:34:09Z) - Achieving Small Test Error in Mildly Overparameterized Neural Networks [30.664282759625948]
時間内にこれらの点の1つを見つけるアルゴリズムを示す。
さらに、我々は、完全に接続されたニューラルネットワークのために、データ分布に追加の仮定で、時間アルゴリズムがあることを証明します。
論文 参考訳（メタデータ） (2021-04-24T06:47:20Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。