論文の概要: Residual Multi-Fidelity Neural Network Computing

• arxiv url: http://arxiv.org/abs/2310.03572v3
• Date: Fri, 20 Dec 2024 18:17:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 19:50:43.863806
• Title: Residual Multi-Fidelity Neural Network Computing
• Title（参考訳）: 残留多要素ニューラルネットワークコンピューティング
• Authors: Owen Davis, Mohammad Motamed, Raul Tempone,
• Abstract要約: 多要素情報を用いたニューラルネットワークサロゲートモデルを構築する際の一般的な問題について考察する。 ReLUニューラルネットワークの誤差複雑度推定により、安価な低忠実度モデルと高価な高忠実度モデルとの相関関係を定式化する。 本稿では,提案フレームワークの強みを示す数値例を4つ提示する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this work, we consider the general problem of constructing a neural network surrogate model using multi-fidelity information. Motivated by error-complexity estimates for ReLU neural networks, we formulate the correlation between an inexpensive low-fidelity model and an expensive high-fidelity model as a possibly non-linear residual function. This function defines a mapping between 1) the shared input space of the models along with the low-fidelity model output, and 2) the discrepancy between the outputs of the two models. The computational framework proceeds by training two neural networks to work in concert. The first network learns the residual function on a small set of high- and low-fidelity data. Once trained, this network is used to generate additional synthetic high-fidelity data, which is used in the training of the second network. The trained second network then acts as our surrogate for the high-fidelity quantity of interest. We present four numerical examples to demonstrate the power of the proposed framework, showing that significant savings in computational cost may be achieved when the output predictions are desired to be accurate within small tolerances.
• Abstract（参考訳）: 本研究では,マルチ忠実度情報を用いたニューラルネットワークサロゲートモデル構築の問題点について考察する。 ReLUニューラルネットワークの誤差複雑度推定により,低忠実度モデルと高忠実度モデルとの相関関係を非線形残差関数として定式化する。 この関数は写像を定義する 1)低忠実度モデル出力とともにモデルの共有入力空間、及び 2) 2つのモデルの出力の相違。 計算フレームワークは、2つのニューラルネットワークをトレーニングして、共同作業を行なう。 第1のネットワークは、高忠実度および低忠実度データの小さなセットで残差関数を学習する。 トレーニングが完了すると、このネットワークは第2ネットワークのトレーニングに使用される合成高忠実度データを生成するために使用される。 トレーニングされた第2のネットワークは、高忠実度の関心事の代理として機能します。 提案するフレームワークのパワーを示す数値的な例を4つ提示し, 計算コストの大幅な削減は, 少ない許容範囲で精度の高い出力予測が望まれる場合に達成できることを示した。

関連論文リスト

• Practical multi-fidelity machine learning: fusion of deterministic and Bayesian models [0.34592277400656235]
  マルチフィデリティ機械学習手法は、少ないリソース集約型高フィデリティデータと、豊富なが精度の低い低フィデリティデータを統合する。 低次元領域と高次元領域にまたがる問題に対する実用的多面性戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-21T10:40:50Z)
• Multi-Fidelity Bayesian Neural Network for Uncertainty Quantification in Transonic Aerodynamic Loads [0.0]
  本稿では,多要素ベイズニューラルネットワークモデルを実装し,異なる忠実度モデルによって生成されたデータに転送学習を適用した。 その結果,マルチ忠実ベイズモデルでは,非表示データに対する総合的精度とロバスト性の観点から,最先端のCo-Krigingよりも優れていた。
  論文  参考訳（メタデータ） (2024-07-08T07:34:35Z)
• Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
  本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。 Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。 Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
  論文  参考訳（メタデータ） (2024-01-08T18:59:31Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Neural Network Training Using $\ell_1$-Regularization and Bi-fidelity Data [0.0]
  高忠実度モデルからの小さなトレーニングデータセットのみが利用可能である場合、スペーサがニューラルネットワークのトレーニングに$ell_$-regularizationを促進させる効果について検討する。 本稿では,問題の低忠実度モデルから得られたデータを用いて訓練した同一ネットワークのパラメータから,$ell_$-regularizationの2つの変種について考察する。 これらのバイフィダリティ戦略は、大きな低フィダリティデータセットから学習したパラメータを使用して、小さな高フィダリティデータセットのためにネットワークを効率的にトレーニングするニューラルネットワークの転送学習の一般化である。
  論文  参考訳（メタデータ） (2021-05-27T08:56:17Z)
• Multi-fidelity regression using artificial neural networks: efficient approximation of parameter-dependent output quantities [0.17499351967216337]
  本稿では,多元性回帰問題に対するニューラルネットワークの利用について述べる。 導入されたモデルは、従来のマルチファイアリティスキームと比較されます。 また、工学的問題に対するマルチファイダリグレッションの適用も示します。
  論文  参考訳（メタデータ） (2021-02-26T11:29:00Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• On transfer learning of neural networks using bi-fidelity data for uncertainty propagation [0.0]
  本研究では,高忠実度モデルと低忠実度モデルの両方から生成された学習データを用いた伝達学習手法の適用について検討する。 前者のアプローチでは、低忠実度データに基づいて、入力を関心の出力にマッピングするニューラルネットワークモデルを訓練する。 次に、高忠実度データを使用して、低忠実度ネットワークの上層(s)のパラメータを適応させたり、より単純なニューラルネットワークをトレーニングして、低忠実度ネットワークの出力を高忠実度モデルのパラメータにマッピングする。
  論文  参考訳（メタデータ） (2020-02-11T15:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。