論文の概要: Gradient-enhanced multifidelity neural networks for high-dimensional function approximation

• arxiv url: http://arxiv.org/abs/2103.12247v1
• Date: Tue, 23 Mar 2021 00:47:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-24 13:48:30.614160
• Title: Gradient-enhanced multifidelity neural networks for high-dimensional function approximation
• Title（参考訳）: 高次元関数近似のための勾配強調多忠実ニューラルネットワーク
• Authors: Jethro Nagawkar and Leifur Leifsson
• Abstract要約: グラデーション強化型マルチファイダリティニューラルネットワーク(GEMFNN)を提案する。 関数近似には関数情報と勾配情報の両方を複数レベルの忠実度で使用することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, a novel multifidelity machine learning (ML) model, the gradient-enhanced multifidelity neural networks (GEMFNNs), is proposed. This model is a multifidelity version of gradient-enhanced neural networks (GENNs) as it uses both function and gradient information available at multiple levels of fidelity to make function approximations. Its construction is similar to multifidelity neural networks (MFNNs). This model is tested on three analytical function, a one, two, and a 20 variable function. It is also compared to neural networks (NNs), GENNs, and MFNNs, and the number of samples required to reach a global accuracy of 0.99 coefficient of determination (R^2) is measured. GEMFNNs required 18, 120, and 600 high-fidelity samples for the one, two, and 20 dimensional cases, respectively, to meet the target accuracy. NNs performed best on the one variable case, requiring only ten samples, while GENNs worked best on the two variable case, requiring 120 samples. GEMFNNs worked best for the 20 variable case, while requiring nearly eight times fewer samples than its nearest competitor, GENNs. For this case, NNs and MFNNs did not reach the target global accuracy even after using 10,000 high-fidelity samples. This work demonstrates the benefits of using gradient as well as multifidelity information in NNs for high-dimensional problems.
• Abstract（参考訳）: 本研究では,グラデーション強調型マルチフィデリティニューラルネットワーク(gemfnns)という,新しいマルチフィデリティ機械学習(ml)モデルを提案する。 このモデルはグラデーションエンハンスドニューラルネットワーク(genns)のマルチフィデリティバージョンであり、複数のレベルのフィデリティで利用可能な機能情報と勾配情報の両方を使用して関数近似を行う。 その構成は、multifidelity neural networks (mfnns) に似ている。 このモデルは,3つの解析関数,1,2,20変数関数で検証される。 また、ニューラルネットワーク(NN)、GENN(英語版)、MFNN(英語版)と比較され、世界的精度0.99の判定係数(R^2)に達するために必要なサンプル数を測定する。 gemfnnは18, 120, 600の高忠実度サンプルを必要とし、それぞれ1, 2, 20次元のケースで目標の精度を満たした。 NNは1つの変数の場合で最善を尽くし、10つのサンプルしか必要とせず、GENNは2つの変数の場合で最善を尽くし、120のサンプルを必要とした。 GEMFNNは20の可変ケースで最もうまく機能し、最も近い競合であるGENNの8倍近いサンプルを必要とする。 この場合、nnsとmfnnは1万個の高忠実度サンプルを使用しても目標のグローバル精度に達しなかった。 本研究は,高次元問題に対するNNにおける勾配と多忠実性情報の利用の利点を示す。

関連論文リスト

• Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
  ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。 本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-03-25T19:39:17Z)
• A Hierarchical Fused Quantum Fuzzy Neural Network for Image Classification [8.7057403071943]
  我々は新しい階層型融合量子ファジィニューラルネットワーク(HQFNN)を提案した。 HQFNNは量子ニューラルネットワークを使用してファジィニューラルネットワークのファジィメンバシップ関数を学習する。 その結果,提案手法は既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-03-14T12:09:36Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression [12.21422686958087]
  本研究では、浅いReLU$k$のニューラルネットワークに対応する変動空間の近似能力について検討する。 滑らかさの低い関数に対しては、変動ノルムの観点から近似率が確立される。 浅層ニューラルネットワークは,H"古い関数の学習に最適な最小値が得られることを示す。
  論文  参考訳（メタデータ） (2023-04-04T06:35:02Z)
• Functional Neural Networks: Shift invariant models for functional data with applications to EEG classification [0.0]
  我々は、データのスムーズさを保ちながら不変な新しいタイプのニューラルネットワークを導入する:関数型ニューラルネットワーク(FNN) そこで我々は,多層パーセプトロンと畳み込みニューラルネットワークを機能データに拡張するために,機能データ分析(FDA)の手法を用いる。 脳波(EEG)データの分類にFNNをうまく利用し,FDAのベンチマークモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-14T09:41:21Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
  変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。 その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-22T21:28:00Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。