論文の概要: Transfer learning suppresses simulation bias in predictive models built
from sparse, multi-modal data
- arxiv url: http://arxiv.org/abs/2104.09684v1
- Date: Mon, 19 Apr 2021 23:28:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-21 13:36:16.121747
- Title: Transfer learning suppresses simulation bias in predictive models built
from sparse, multi-modal data
- Title（参考訳）: 伝達学習はスパースマルチモーダルデータから構築した予測モデルにおけるシミュレーションバイアスを抑制する
- Authors: Bogdan Kustowski, Jim A. Gaffney, Brian K. Spears, Gemma J. Anderson,
Rushil Anirudh, Peer-Timo Bremer, Jayaraman J. Thiagarajan (Lawrence
Livermore National Laboratory, Livermore, CA)
- Abstract要約: 科学、工学、ビジネスにおける多くの問題は、ごくわずかな観察に基づく予測を必要とする。
堅牢な予測モデルを構築するには、特に設計空間が多次元である場合、これらのスパースデータをシミュレーションデータで拡張する必要がある。
ディープラーニングの最近の開発を組み合わせて、マルチモーダルデータからより堅牢な予測モデルを構築します。
- 参考スコア（独自算出の注目度）: 15.587831925516957
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Many problems in science, engineering, and business require making
predictions based on very few observations. To build a robust predictive model,
these sparse data may need to be augmented with simulated data, especially when
the design space is multidimensional. Simulations, however, often suffer from
an inherent bias. Estimation of this bias may be poorly constrained not only
because of data sparsity, but also because traditional predictive models fit
only one type of observations, such as scalars or images, instead of all
available data modalities, which might have been acquired and simulated at
great cost. We combine recent developments in deep learning to build more
robust predictive models from multimodal data with a recent, novel technique to
suppress the bias, and extend it to take into account multiple data modalities.
First, an initial, simulation-trained, neural network surrogate model learns
important correlations between different data modalities and between simulation
inputs and outputs. Then, the model is partially retrained, or transfer
learned, to fit the observations. Using fewer than 10 inertial confinement
fusion experiments for retraining, we demonstrate that this technique
systematically improves simulation predictions while a simple output
calibration makes predictions worse. We also offer extensive cross-validation
with real and synthetic data to support our findings. The transfer learning
method can be applied to other problems that require transferring knowledge
from simulations to the domain of real observations. This paper opens up the
path to model calibration using multiple data types, which have traditionally
been ignored in predictive models.
- Abstract（参考訳）: 科学、工学、ビジネスにおける多くの問題は、ごくわずかな観察に基づく予測を必要とする。
堅牢な予測モデルを構築するには、特に設計空間が多次元である場合、これらのスパースデータをシミュレーションデータで拡張する必要がある。
しかしシミュレーションは、しばしば固有のバイアスに悩まされる。
従来の予測モデルはスカラーや画像のような1種類の観測にのみ適合するので、このバイアスの予測はデータの分散のためだけでなく、大きなコストで取得・シミュレートされたすべてのデータモダリティに代えて、制約の弱いものとなる。
我々は,マルチモーダルデータからよりロバストな予測モデルを構築するために,ディープラーニングの最近の進展と,バイアスを抑制する最新の新しい手法を組み合わせて,複数のデータモダリティを考慮したモデルの拡張を行う。
まず、初期、シミュレーション訓練されたニューラルネットワークサロゲートモデルは、異なるデータモダリティとシミュレーション入力と出力の間の重要な相関を学習する。
その後、モデルは部分的に再訓練されるか、あるいは学習され、観察に適合する。
この手法は,10個未満の慣性凝縮核融合実験を用いてシミュレーション予測を体系的に改善し,単純な出力校正により予測が悪化することを示した。
また,本研究を支援するために,実データと合成データとのクロスバリデーションも行った。
伝達学習法は、シミュレーションから実観察領域への知識の伝達を必要とする他の問題に適用することができる。
本稿では,従来予測モデルでは無視されてきた複数のデータ型を用いたモデル校正への道を開く。
関連論文リスト
- Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳（メタデータ） (2024-04-11T09:23:36Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳（メタデータ） (2023-11-02T01:51:43Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳（メタデータ） (2022-10-05T09:17:27Z) - Cognitive simulation models for inertial confinement fusion: Combining
simulation and experimental data [0.0]
研究者は、高性能な爆発を求めて設計空間を探索するためにコンピュータシミュレーションに大きく依存しています。
より効果的な設計と調査のために、シミュレーションは過去の実験データからの入力を必要とする。
本稿では,シミュレーションと実験データを共通の予測モデルに組み合わせた認知シミュレーション手法について述べる。
論文 参考訳（メタデータ） (2021-03-19T02:00:14Z) - Synthesizing Irreproducibility in Deep Networks [2.28438857884398]
現代のディープネットワークは非生産性に苦しむ(非決定性または不特定化とも呼ばれる)
単一の非線形性や非常に単純なデータやモデルであっても、不再現性が生じることを示す。
モデルの複雑さと非線形性の選択は、深いモデルを再現不能にする上で重要な役割を果たす。
論文 参考訳（メタデータ） (2021-02-21T21:51:28Z) - Designing Accurate Emulators for Scientific Processes using
Calibration-Driven Deep Models [33.935755695805724]
Learn-by-Calibrating (LbC)は、科学応用においてエミュレータを設計するための新しいディープラーニングアプローチである。
また,LbCは広く適応された損失関数の選択に対して,一般化誤差を大幅に改善することを示した。
LbCは、小さなデータレギュレータでも高品質なエミュレータを実現し、さらに重要なことは、明確な事前条件なしで固有のノイズ構造を復元する。
論文 参考訳（メタデータ） (2020-05-05T16:54:11Z) - Ambiguity in Sequential Data: Predicting Uncertain Futures with
Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。
また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文 参考訳（メタデータ） (2020-03-10T09:15:42Z) - Forecasting Industrial Aging Processes with Machine Learning Methods [0.0]
我々は、従来のステートレスモデルとより複雑なリカレントニューラルネットワークを比較して、幅広いデータ駆動モデルを評価する。
以上の結果から,リカレントモデルでは,より大きなデータセットでトレーニングした場合,ほぼ完璧な予測が得られた。
論文 参考訳（メタデータ） (2020-02-05T13:06:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。