論文の概要: Residual Multi-Fidelity Neural Network Computing
- arxiv url: http://arxiv.org/abs/2310.03572v2
- Date: Wed, 6 Mar 2024 14:54:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 17:53:14.942948
- Title: Residual Multi-Fidelity Neural Network Computing
- Title（参考訳）: 残留多要素ニューラルネットワークコンピューティング
- Authors: Owen Davis, Mohammad Motamed, Raul Tempone
- Abstract要約: 残差関数としてモデル間の相関を定式化する残差多忠実計算フレームワークを提案する。
計算コストの劇的な削減は、出力予測が小さな許容範囲内で正確であることを望んでいれば達成できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we consider the general problem of constructing a neural
network surrogate model using multi-fidelity information. Motivated by rigorous
error and complexity estimates for ReLU neural networks, given an inexpensive
low-fidelity and an expensive high-fidelity computational model, we present a
residual multi-fidelity computational framework that formulates the correlation
between models as a residual function, a possibly non-linear mapping between 1)
the shared input space of the models together with the low-fidelity model
output and 2) the discrepancy between the two model outputs. To accomplish
this, we train two neural networks to work in concert. The first network learns
the residual function on a small set of high-fidelity and low-fidelity data.
Once trained, this network is used to generate additional synthetic
high-fidelity data, which is used in the training of a second network. This
second network, once trained, acts as our surrogate for the high-fidelity
quantity of interest. We present three numerical examples to demonstrate the
power of the proposed framework. In particular, we show that dramatic savings
in computational cost may be achieved when the output predictions are desired
to be accurate within small tolerances.
- Abstract（参考訳）: 本研究では,マルチ忠実度情報を用いたニューラルネットワークサーロゲートモデルの構築に関する一般的な問題を検討する。
ReLUニューラルネットワークの厳密な誤差と複雑性推定により、安価な低忠実度と高価な高忠実度計算モデルを考えると、モデル間の相関関係を残差関数として定式化する残差多忠実度計算フレームワークを提示する。
1) モデルの共有入力空間と低忠実度モデルの出力と
2)2つのモデル間の不一致。
これを実現するために、2つのニューラルネットワークをトレーニングし、協調作業を行います。
第1のネットワークは、少数の高忠実度および低忠実度データの残差関数を学習する。
訓練後、このネットワークは第2ネットワークのトレーニングに使用される合成高忠実度データを生成するために使用される。
この第2のネットワークは、一度訓練された時点で、高忠実な関心事のサロゲートとして機能します。
本稿では,提案手法のパワーを示す3つの数値例を示す。
特に、計算コストの劇的な節約は、小さな許容範囲内で出力予測が正確であると期待された場合に達成できることを示す。
関連論文リスト
- Practical multi-fidelity machine learning: fusion of deterministic and Bayesian models [0.34592277400656235]
マルチフィデリティ機械学習手法は、少ないリソース集約型高フィデリティデータと、豊富なが精度の低い低フィデリティデータを統合する。
低次元領域と高次元領域にまたがる問題に対する実用的多面性戦略を提案する。
論文 参考訳（メタデータ） (2024-07-21T10:40:50Z) - Multi-Fidelity Bayesian Neural Network for Uncertainty Quantification in Transonic Aerodynamic Loads [0.0]
本稿では,多要素ベイズニューラルネットワークモデルを実装し,異なる忠実度モデルによって生成されたデータに転送学習を適用した。
その結果,マルチ忠実ベイズモデルでは,非表示データに対する総合的精度とロバスト性の観点から,最先端のCo-Krigingよりも優れていた。
論文 参考訳（メタデータ） (2024-07-08T07:34:35Z) - Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。
Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。
Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
論文 参考訳（メタデータ） (2024-01-08T18:59:31Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳（メタデータ） (2021-06-10T04:21:20Z) - Neural Network Training Using $\ell_1$-Regularization and Bi-fidelity
Data [0.0]
高忠実度モデルからの小さなトレーニングデータセットのみが利用可能である場合、スペーサがニューラルネットワークのトレーニングに$ell_$-regularizationを促進させる効果について検討する。
本稿では,問題の低忠実度モデルから得られたデータを用いて訓練した同一ネットワークのパラメータから,$ell_$-regularizationの2つの変種について考察する。
これらのバイフィダリティ戦略は、大きな低フィダリティデータセットから学習したパラメータを使用して、小さな高フィダリティデータセットのためにネットワークを効率的にトレーニングするニューラルネットワークの転送学習の一般化である。
論文 参考訳（メタデータ） (2021-05-27T08:56:17Z) - Multi-fidelity regression using artificial neural networks: efficient
approximation of parameter-dependent output quantities [0.17499351967216337]
本稿では,多元性回帰問題に対するニューラルネットワークの利用について述べる。
導入されたモデルは、従来のマルチファイアリティスキームと比較されます。
また、工学的問題に対するマルチファイダリグレッションの適用も示します。
論文 参考訳（メタデータ） (2021-02-26T11:29:00Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳（メタデータ） (2020-09-14T12:01:30Z) - On transfer learning of neural networks using bi-fidelity data for
uncertainty propagation [0.0]
本研究では,高忠実度モデルと低忠実度モデルの両方から生成された学習データを用いた伝達学習手法の適用について検討する。
前者のアプローチでは、低忠実度データに基づいて、入力を関心の出力にマッピングするニューラルネットワークモデルを訓練する。
次に、高忠実度データを使用して、低忠実度ネットワークの上層(s)のパラメータを適応させたり、より単純なニューラルネットワークをトレーニングして、低忠実度ネットワークの出力を高忠実度モデルのパラメータにマッピングする。
論文 参考訳（メタデータ） (2020-02-11T15:56:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。