論文の概要: Practical multi-fidelity machine learning: fusion of deterministic and Bayesian models
- arxiv url: http://arxiv.org/abs/2407.15110v2
- Date: Tue, 25 Mar 2025 11:25:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-26 16:51:06.584749
- Title: Practical multi-fidelity machine learning: fusion of deterministic and Bayesian models
- Title（参考訳）: 実用的多要素機械学習:決定論的モデルとベイズモデルの融合
- Authors: Jiaxiang Yi, Ji Cheng, Miguel A. Bessa,
- Abstract要約: マルチフィデリティ機械学習手法は、少ないリソース集約型高フィデリティデータと、豊富なが精度の低い低フィデリティデータを統合する。
低次元領域と高次元領域にまたがる問題に対する実用的多面性戦略を提案する。
- 参考スコア（独自算出の注目度）: 0.34592277400656235
- License:
- Abstract: Multi-fidelity machine learning methods address the accuracy-efficiency trade-off by integrating scarce, resource-intensive high-fidelity data with abundant but less accurate low-fidelity data. We propose a practical multi-fidelity strategy for problems spanning low- and high-dimensional domains, integrating a non-probabilistic regression model for the low-fidelity with a Bayesian model for the high-fidelity. The models are trained in a staggered scheme, where the low-fidelity model is transfer-learned to the high-fidelity data and a Bayesian model is trained to learn the residual between the data and the transfer-learned model. This three-model strategy -- deterministic low-fidelity, transfer-learning, and Bayesian residual -- leads to a prediction that includes uncertainty quantification for noisy and noiseless multi-fidelity data. The strategy is general and unifies the topic, highlighting the expressivity trade-off between the transfer-learning and Bayesian models (a complex transfer-learning model leads to a simpler Bayesian model, and vice versa). We propose modeling choices for two scenarios, and argue in favor of using a linear transfer-learning model that fuses 1) kernel ridge regression for low-fidelity with Gaussian processes for high-fidelity; or 2) deep neural network for low-fidelity with a Bayesian neural network for high-fidelity. We demonstrate the effectiveness and efficiency of the proposed strategies and contrast them with the state-of-the-art based on various numerical examples and two engineering problems. The results indicate that the proposed approach achieves comparable performance in both mean and uncertainty estimation while significantly reducing training time for machine learning modeling in data-scarce scenarios. Moreover, in data-rich settings, it outperforms other multi-fidelity architectures by effectively mitigating overfitting.
- Abstract（参考訳）: 多要素機械学習法は, 少ない資源集約型高密度データと少ない精度の低忠実度データを統合することにより, 精度・効率のトレードオフに対処する。
低次元領域と高次元領域にまたがる問題に対する実用的多次元戦略を提案し、低次元領域に対する非確率回帰モデルと高次元領域に対するベイズモデルを統合する。
低忠実度モデルを高忠実度データに転送学習し、ベイズモデルをトレーニングし、データと転送学習モデルの残差を学習する。
この3モデル戦略 -- 決定論的低忠実性、トランスファーラーニング、ベイズ残差 -- は、ノイズやノイズのない多重忠実データに対する不確実な定量化を含む予測をもたらす。
この戦略は一般的であり、このトピックを統一し、移行学習モデルとベイズモデルの表現性トレードオフを強調する(複雑な移行学習モデルはベイズモデルをより単純なものにし、その逆も)。
2つのシナリオのモデリング選択を提案し、融合する線形移動学習モデルを使うことを論じる。
1)高忠実性のためのガウス過程を有する低忠実性のためのカーネルリッジ回帰
2)高忠実性のためのベイズニューラルネットワークを用いた低忠実性のためのディープニューラルネットワーク。
提案手法の有効性と効率を実証し, 様々な数値例と2つの工学的問題に基づく最先端技術と対比する。
その結果,提案手法は平均および不確実性推定において同等の性能を達成し,データ共有シナリオにおける機械学習モデリングのトレーニング時間を大幅に短縮することを示した。
さらに、データリッチな設定では、オーバーフィッティングを効果的に軽減することで、他のマルチフィデリティアーキテクチャよりも優れています。
関連論文リスト
- Multi-Fidelity Bayesian Neural Network for Uncertainty Quantification in Transonic Aerodynamic Loads [0.0]
本稿では,多要素ベイズニューラルネットワークモデルを実装し,異なる忠実度モデルによって生成されたデータに転送学習を適用した。
その結果,マルチ忠実ベイズモデルでは,非表示データに対する総合的精度とロバスト性の観点から,最先端のCo-Krigingよりも優れていた。
論文 参考訳（メタデータ） (2024-07-08T07:34:35Z) - Multifidelity Surrogate Models: A New Data Fusion Perspective [0.0]
多要素サロゲートモデリングは、異なるソースからの様々な精度とコストのデータを組み合わせる。
戦略的に低忠実度モデルを用いて、迅速な評価を行い、計算資源を節約している。
これは不確実性に対処し、単一忠実性モデルの限界を超えることで意思決定を改善する。
論文 参考訳（メタデータ） (2024-04-21T11:21:47Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Disentangled Multi-Fidelity Deep Bayesian Active Learning [19.031567953748453]
マルチ忠実能動学習は、入力パラメータからシミュレーション出力への直接マッピングを最も高い忠実度で学習することを目的としている。
深層学習に基づく手法は、しばしば隠れ表現に階層構造を課し、低忠実度から高忠実度への情報伝達のみをサポートする。
本稿では,D-MFDAL(Disentangled Multi-fidelity Deep Bayesian Active Learning)と呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-07T23:14:58Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - General multi-fidelity surrogate models: Framework and active learning
strategies for efficient rare event simulation [1.708673732699217]
複雑な現実世界のシステムの失敗の確率を推定することは、しばしば違法に高価である。
本稿では,頑健な多要素代理モデリング戦略を提案する。
高忠実度モデル呼び出しの数を劇的に削減しながら、非常に正確であることが示されている。
論文 参考訳（メタデータ） (2022-12-07T00:03:21Z) - Adaptive Reliability Analysis for Multi-fidelity Models using a
Collective Learning Strategy [6.368679897630892]
本研究は,信頼性解析のための適応多忠実ガウス法(adaptive multi-fidelity Gaussian process for reliability analysis,AMGPRA)という新しい手法を提案する。
提案手法は,最先端の単相・多相の手法と比較して計算コストを削減し,類似あるいは高い精度を実現する。
AMGPRAのキーとなる応用は、複雑で高価な物理ベースの計算モデルを用いた高忠実度不安定性モデリングである。
論文 参考訳（メタデータ） (2021-09-21T14:42:58Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。