論文の概要: Multifidelity linear regression for scientific machine learning from
scarce data
- arxiv url: http://arxiv.org/abs/2403.08627v1
- Date: Wed, 13 Mar 2024 15:40:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 13:38:19.395297
- Title: Multifidelity linear regression for scientific machine learning from
scarce data
- Title（参考訳）: 科学的機械学習のための多面的線形回帰
scarce (複数形 scarces)
- Authors: Elizabeth Qian, Anirban Chaudhuri, Dayoung Kang, Vignesh Sella
- Abstract要約: 本稿では,科学機械学習のための多要素学習手法を提案する。
様々な忠実さとコストのデータが利用できる科学的な文脈を利用する。
本研究では,高忠実度データを学習した学習モデルが,高忠実度データのみを学習した標準モデルよりも,高忠実度データを訓練した学習モデルよりも低次モデルの分散を実現することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) methods, which fit to data the parameters of a given
parameterized model class, have garnered significant interest as potential
methods for learning surrogate models for complex engineering systems for which
traditional simulation is expensive. However, in many scientific and
engineering settings, generating high-fidelity data on which to train ML models
is expensive, and the available budget for generating training data is limited.
ML models trained on the resulting scarce high-fidelity data have high variance
and are sensitive to vagaries of the training data set. We propose a new
multifidelity training approach for scientific machine learning that exploits
the scientific context where data of varying fidelities and costs are
available; for example high-fidelity data may be generated by an expensive
fully resolved physics simulation whereas lower-fidelity data may arise from a
cheaper model based on simplifying assumptions. We use the multifidelity data
to define new multifidelity Monte Carlo estimators for the unknown parameters
of linear regression models, and provide theoretical analyses that guarantee
the approach's accuracy and improved robustness to small training budgets.
Numerical results verify the theoretical analysis and demonstrate that
multifidelity learned models trained on scarce high-fidelity data and
additional low-fidelity data achieve order-of-magnitude lower model variance
than standard models trained on only high-fidelity data of comparable cost.
This illustrates that in the scarce data regime, our multifidelity training
strategy yields models with lower expected error than standard training
approaches.
- Abstract（参考訳）: 機械学習(ML)メソッドは、パラメータ化されたモデルクラスのパラメータのデータに適合するが、従来のシミュレーションが高価である複雑なエンジニアリングシステムのサロゲートモデルを学習するための潜在的な方法として、大きな関心を集めている。
しかし、多くの科学的・工学的な設定では、MLモデルをトレーニングするための高忠実度データを生成するのは高価であり、トレーニングデータを生成するための予算は限られている。
得られた少ない高忠実度データに基づいてトレーニングされたMLモデルは、ばらつきが高く、トレーニングデータセットのバガリーに敏感である。
例えば、高忠実度データは高価な完全に解決された物理シミュレーションによって生成されるが、低忠実度データは仮定を単純化したより安価なモデルから生じる可能性がある。
我々は,線形回帰モデルの未知パラメータに対して,新しい多忠実度モンテカルロ推定器を定義するために多忠実度データを使用し,アプローチの精度を保証し,小さなトレーニング予算に頑健さを向上する理論解析を行う。
数値計算により, 少ない高忠実度データと付加的な低忠実度データに基づいて学習した多忠実度学習モデルが, 高忠実度データのみを学習した標準モデルよりも低次モデルの分散を実現することを示す。
これは、少ないデータ構造において、我々の多要素トレーニング戦略が、標準トレーニングアプローチよりも予測エラーの少ないモデルを生成することを示している。
関連論文リスト
- Investigating Data Hierarchies in Multifidelity Machine Learning for Excitation Energies [0.0]
本研究では,QeMFiベンチマークを用いた鉛直励起エネルギー予測におけるモデル効率と精度に対する$gamma$の修正の影響について検討した。
MFMLの新たな誤差距離、誤差輪郭は、各忠実度からのモデル誤差寄与の包括的ビューを提供するために提案される。
実験結果から, 対象忠実度が低い場合, 目標忠実度において2つのトレーニングサンプルのみを用いて, モデル精度を向上できることが示唆された。
論文 参考訳（メタデータ） (2024-10-15T08:35:00Z) - Practical multi-fidelity machine learning: fusion of deterministic and Bayesian models [0.34592277400656235]
マルチフィデリティ機械学習手法は、少ないリソース集約型高フィデリティデータと、豊富なが精度の低い低フィデリティデータを統合する。
低次元領域と高次元領域にまたがる問題に対する実用的多面性戦略を提案する。
論文 参考訳（メタデータ） (2024-07-21T10:40:50Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Multi-fidelity climate model parameterization for better generalization
and extrapolation [0.3860305383611933]
我々は、異なる精度と豊富なデータセットを統合するマルチ忠実なアプローチが、両方の世界の長所を提供することを示す。
気候モデリングへの応用において、マルチ忠実度フレームワークは計算資源の大幅な増加を必要とせず、より正確な気候予測をもたらす。
論文 参考訳（メタデータ） (2023-09-19T01:03:39Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - A Physics-informed Diffusion Model for High-fidelity Flow Field
Reconstruction [0.0]
本研究では,高忠実度データのみを使用する拡散モデルを提案する。
異なる構成で、本モデルでは、正規の低忠実度サンプルまたはスパース測定サンプルから高忠実度データを再構成することができる。
本モデルでは, 異なる入力源に基づく2次元乱流の正確な再構成結果が得られるが, 再学習は行わない。
論文 参考訳（メタデータ） (2022-11-26T23:14:18Z) - Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。
本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。
疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
論文 参考訳（メタデータ） (2022-06-10T04:54:13Z) - Adaptive Reliability Analysis for Multi-fidelity Models using a
Collective Learning Strategy [6.368679897630892]
本研究は,信頼性解析のための適応多忠実ガウス法(adaptive multi-fidelity Gaussian process for reliability analysis,AMGPRA)という新しい手法を提案する。
提案手法は,最先端の単相・多相の手法と比較して計算コストを削減し,類似あるいは高い精度を実現する。
AMGPRAのキーとなる応用は、複雑で高価な物理ベースの計算モデルを用いた高忠実度不安定性モデリングである。
論文 参考訳（メタデータ） (2021-09-21T14:42:58Z) - Model-Augmented Q-learning [112.86795579978802]
モデルベースRLの構成要素を付加したMFRLフレームワークを提案する。
具体的には、$Q$-valuesだけでなく、共有ネットワークにおける遷移と報酬の両方を見積もる。
提案手法は,MQL (Model-augmented $Q$-learning) とよばれる提案手法により,真に報いられた学習によって得られる解と同一のポリシ不変解が得られることを示す。
論文 参考訳（メタデータ） (2021-02-07T17:56:50Z) - AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。
提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
論文 参考訳（メタデータ） (2020-08-16T11:36:11Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳（メタデータ） (2020-07-17T01:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。