論文の概要: Multifidelity linear regression for scientific machine learning from
scarce data
- arxiv url: http://arxiv.org/abs/2403.08627v1
- Date: Wed, 13 Mar 2024 15:40:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 13:38:19.395297
- Title: Multifidelity linear regression for scientific machine learning from
scarce data
- Title(参考訳): 科学的機械学習のための多面的線形回帰
scarce (複数形 scarces)
- Authors: Elizabeth Qian, Anirban Chaudhuri, Dayoung Kang, Vignesh Sella
- Abstract要約: 本稿では,科学機械学習のための多要素学習手法を提案する。
様々な忠実さとコストのデータが利用できる科学的な文脈を利用する。
本研究では,高忠実度データを学習した学習モデルが,高忠実度データのみを学習した標準モデルよりも,高忠実度データを訓練した学習モデルよりも低次モデルの分散を実現することを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) methods, which fit to data the parameters of a given
parameterized model class, have garnered significant interest as potential
methods for learning surrogate models for complex engineering systems for which
traditional simulation is expensive. However, in many scientific and
engineering settings, generating high-fidelity data on which to train ML models
is expensive, and the available budget for generating training data is limited.
ML models trained on the resulting scarce high-fidelity data have high variance
and are sensitive to vagaries of the training data set. We propose a new
multifidelity training approach for scientific machine learning that exploits
the scientific context where data of varying fidelities and costs are
available; for example high-fidelity data may be generated by an expensive
fully resolved physics simulation whereas lower-fidelity data may arise from a
cheaper model based on simplifying assumptions. We use the multifidelity data
to define new multifidelity Monte Carlo estimators for the unknown parameters
of linear regression models, and provide theoretical analyses that guarantee
the approach's accuracy and improved robustness to small training budgets.
Numerical results verify the theoretical analysis and demonstrate that
multifidelity learned models trained on scarce high-fidelity data and
additional low-fidelity data achieve order-of-magnitude lower model variance
than standard models trained on only high-fidelity data of comparable cost.
This illustrates that in the scarce data regime, our multifidelity training
strategy yields models with lower expected error than standard training
approaches.
- Abstract(参考訳): 機械学習(ML)メソッドは、パラメータ化されたモデルクラスのパラメータのデータに適合するが、従来のシミュレーションが高価である複雑なエンジニアリングシステムのサロゲートモデルを学習するための潜在的な方法として、大きな関心を集めている。
しかし、多くの科学的・工学的な設定では、MLモデルをトレーニングするための高忠実度データを生成するのは高価であり、トレーニングデータを生成するための予算は限られている。
得られた少ない高忠実度データに基づいてトレーニングされたMLモデルは、ばらつきが高く、トレーニングデータセットのバガリーに敏感である。
例えば、高忠実度データは高価な完全に解決された物理シミュレーションによって生成されるが、低忠実度データは仮定を単純化したより安価なモデルから生じる可能性がある。
我々は,線形回帰モデルの未知パラメータに対して,新しい多忠実度モンテカルロ推定器を定義するために多忠実度データを使用し,アプローチの精度を保証し,小さなトレーニング予算に頑健さを向上する理論解析を行う。
数値計算により, 少ない高忠実度データと付加的な低忠実度データに基づいて学習した多忠実度学習モデルが, 高忠実度データのみを学習した標準モデルよりも低次モデルの分散を実現することを示す。
これは、少ないデータ構造において、我々の多要素トレーニング戦略が、標準トレーニングアプローチよりも予測エラーの少ないモデルを生成することを示している。
関連論文リスト
- Multitask methods for predicting molecular properties from heterogeneous
data [0.3069335774032178]
マルチタスクガウス過程の回帰は、高価なデータソースと安価なデータソースの両方を活用することで制限を克服することを示した。
マルチタスクサロゲートは,データ生成コストを1桁以上削減することで,CCレベルの精度で予測可能であることを報告した。
マルチタスクレグレッションは、既存のデータソースを機会的に活用することによって、データ生成コストをさらに削減するためのツールである。
論文 参考訳(メタデータ) (2024-01-31T15:04:03Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Multi-fidelity climate model parameterization for better generalization
and extrapolation [0.3860305383611933]
我々は、異なる精度と豊富なデータセットを統合するマルチ忠実なアプローチが、両方の世界の長所を提供することを示す。
気候モデリングへの応用において、マルチ忠実度フレームワークは計算資源の大幅な増加を必要とせず、より正確な気候予測をもたらす。
論文 参考訳(メタデータ) (2023-09-19T01:03:39Z) - End-to-End Reinforcement Learning of Koopman Models for Economic
Nonlinear Model Predictive Control [50.0791489606211]
非線形モデル予測制御((e)NMPC)は、すべての状態空間領域において十分正確なシステムモデルを必要とする。
メカニスティックモデルのためのデータ駆動サロゲートモデルは、(e)NMPCの計算負担を軽減するために使用できる。
In this method for end-to-end reinforcement learning of dynamic surrogate model for optimal performance in (e)NMPC applications。
論文 参考訳(メタデータ) (2023-08-03T10:21:53Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - General multi-fidelity surrogate models: Framework and active learning
strategies for efficient rare event simulation [1.708673732699217]
複雑な現実世界のシステムの失敗の確率を推定することは、しばしば違法に高価である。
本稿では,頑健な多要素代理モデリング戦略を提案する。
高忠実度モデル呼び出しの数を劇的に削減しながら、非常に正確であることが示されている。
論文 参考訳(メタデータ) (2022-12-07T00:03:21Z) - A Physics-informed Diffusion Model for High-fidelity Flow Field
Reconstruction [0.0]
本研究では,高忠実度データのみを使用する拡散モデルを提案する。
異なる構成で、本モデルでは、正規の低忠実度サンプルまたはスパース測定サンプルから高忠実度データを再構成することができる。
本モデルでは, 異なる入力源に基づく2次元乱流の正確な再構成結果が得られるが, 再学習は行わない。
論文 参考訳(メタデータ) (2022-11-26T23:14:18Z) - Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。
本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。
疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
論文 参考訳(メタデータ) (2022-06-10T04:54:13Z) - Adaptive Reliability Analysis for Multi-fidelity Models using a
Collective Learning Strategy [6.368679897630892]
本研究は,信頼性解析のための適応多忠実ガウス法(adaptive multi-fidelity Gaussian process for reliability analysis,AMGPRA)という新しい手法を提案する。
提案手法は,最先端の単相・多相の手法と比較して計算コストを削減し,類似あるいは高い精度を実現する。
AMGPRAのキーとなる応用は、複雑で高価な物理ベースの計算モデルを用いた高忠実度不安定性モデリングである。
論文 参考訳(メタデータ) (2021-09-21T14:42:58Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z) - Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。
このようなモデルをリアルタイム診断に利用しています。
論文 参考訳(メタデータ) (2020-03-04T00:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。