論文の概要: On transfer learning of neural networks using bi-fidelity data for uncertainty propagation

• arxiv url: http://arxiv.org/abs/2002.04495v1
• Date: Tue, 11 Feb 2020 15:56:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 01:55:10.452770
• Title: On transfer learning of neural networks using bi-fidelity data for uncertainty propagation
• Title（参考訳）: 不確実性伝播のためのバイフィデリティデータを用いたニューラルネットワークの伝達学習について
• Authors: Subhayan De, Jolene Britton, Matthew Reynolds, Ryan Skinner, Kenneth Jansen, and Alireza Doostan
• Abstract要約: 本研究では,高忠実度モデルと低忠実度モデルの両方から生成された学習データを用いた伝達学習手法の適用について検討する。 前者のアプローチでは、低忠実度データに基づいて、入力を関心の出力にマッピングするニューラルネットワークモデルを訓練する。 次に、高忠実度データを使用して、低忠実度ネットワークの上層(s)のパラメータを適応させたり、より単純なニューラルネットワークをトレーニングして、低忠実度ネットワークの出力を高忠実度モデルのパラメータにマッピングする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to their high degree of expressiveness, neural networks have recently been used as surrogate models for mapping inputs of an engineering system to outputs of interest. Once trained, neural networks are computationally inexpensive to evaluate and remove the need for repeated evaluations of computationally expensive models in uncertainty quantification applications. However, given the highly parameterized construction of neural networks, especially deep neural networks, accurate training often requires large amounts of simulation data that may not be available in the case of computationally expensive systems. In this paper, to alleviate this issue for uncertainty propagation, we explore the application of transfer learning techniques using training data generated from both high- and low-fidelity models. We explore two strategies for coupling these two datasets during the training procedure, namely, the standard transfer learning and the bi-fidelity weighted learning. In the former approach, a neural network model mapping the inputs to the outputs of interest is trained based on the low-fidelity data. The high-fidelity data is then used to adapt the parameters of the upper layer(s) of the low-fidelity network, or train a simpler neural network to map the output of the low-fidelity network to that of the high-fidelity model. In the latter approach, the entire low-fidelity network parameters are updated using data generated via a Gaussian process model trained with a small high-fidelity dataset. The parameter updates are performed via a variant of stochastic gradient descent with learning rates given by the Gaussian process model. Using three numerical examples, we illustrate the utility of these bi-fidelity transfer learning methods where we focus on accuracy improvement achieved by transfer learning over standard training approaches.
• Abstract（参考訳）: 高い表現性のため、近年、ニューラルネットワークはエンジニアリングシステムの入力を関心のある出力にマッピングするためのサロゲートモデルとして使用されている。 訓練されたニューラルネットワークは、不確実な定量化アプリケーションにおいて、計算コストのかかるモデルの繰り返し評価の必要性を評価・除去するために、計算コストがかかる。 しかしながら、ニューラルネットワーク、特にディープニューラルネットワークの高度にパラメータ化された構成を考えると、正確なトレーニングには計算コストの高いシステムでは利用できない大量のシミュレーションデータが必要となる。 本稿では,不確実性伝播の問題を緩和するために,高忠実度モデルと低忠実度モデルの両方から生成されたトレーニングデータを用いたトランスファー学習手法の適用について検討する。 本稿では,この2つのデータセットをトレーニング手順中に結合する2つの戦略,すなわち,標準移動学習と両忠実重み付き学習について検討する。 前者のアプローチでは、入力を関心の出力にマッピングするニューラルネットワークモデルが、低忠実度データに基づいて訓練される。 そして、高忠実度データを用いて、低忠実度ネットワークの上層層(s)のパラメータを適応させたり、より単純なニューラルネットワークを訓練して低忠実度ネットワークの出力を高忠実度モデルにマッピングする。 後者のアプローチでは、小さな高忠実度データセットでトレーニングされたガウスプロセスモデルによって生成されたデータを使用して、低忠実度ネットワークパラメータ全体を更新する。 パラメータ更新は、ガウス過程モデルによって与えられる学習率とともに確率勾配勾配の変種によって行われる。 3つの数値例を用いて,標準的なトレーニングアプローチによるトランスファー学習によって達成された精度向上に焦点をあてたbi-fidelity transfer learning法の有用性を示す。

関連論文リスト

• Training Hamiltonian neural networks without backpropagation [0.0]
  本稿では,ハミルトニアン系を近似するニューラルネットワークのトレーニングを高速化するバックプロパゲーションフリーアルゴリズムを提案する。 従来のハミルトニアンニューラルネットワークよりもCPUの方が100倍以上高速であることを示す。
  論文  参考訳（メタデータ） (2024-11-26T15:22:30Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Residual Multi-Fidelity Neural Network Computing [0.0]
  残差関数としてモデル間の相関を定式化する残差多忠実計算フレームワークを提案する。 計算コストの劇的な削減は、出力予測が小さな許容範囲内で正確であることを望んでいれば達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-05T14:43:16Z)
• Epistemic Modeling Uncertainty of Rapid Neural Network Ensembles for Adaptive Learning [0.0]
  新しいタイプのニューラルネットワークは、高速ニューラルネットワークパラダイムを用いて提示される。 提案したエミュレータを組み込んだニューラルネットワークは,予測精度を損なうことなく,ほぼ瞬時に学習できることが判明した。
  論文  参考訳（メタデータ） (2023-09-12T22:34:34Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Neural Network Training Using $\ell_1$-Regularization and Bi-fidelity Data [0.0]
  高忠実度モデルからの小さなトレーニングデータセットのみが利用可能である場合、スペーサがニューラルネットワークのトレーニングに$ell_$-regularizationを促進させる効果について検討する。 本稿では,問題の低忠実度モデルから得られたデータを用いて訓練した同一ネットワークのパラメータから,$ell_$-regularizationの2つの変種について考察する。 これらのバイフィダリティ戦略は、大きな低フィダリティデータセットから学習したパラメータを使用して、小さな高フィダリティデータセットのためにネットワークを効率的にトレーニングするニューラルネットワークの転送学習の一般化である。
  論文  参考訳（メタデータ） (2021-05-27T08:56:17Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。