論文の概要: Transfer learning suppresses simulation bias in predictive models built from sparse, multi-modal data

• arxiv url: http://arxiv.org/abs/2104.09684v1
• Date: Mon, 19 Apr 2021 23:28:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 13:36:16.121747
• Title: Transfer learning suppresses simulation bias in predictive models built from sparse, multi-modal data
• Title（参考訳）: 伝達学習はスパースマルチモーダルデータから構築した予測モデルにおけるシミュレーションバイアスを抑制する
• Authors: Bogdan Kustowski, Jim A. Gaffney, Brian K. Spears, Gemma J. Anderson, Rushil Anirudh, Peer-Timo Bremer, Jayaraman J. Thiagarajan (Lawrence Livermore National Laboratory, Livermore, CA)
• Abstract要約: 科学、工学、ビジネスにおける多くの問題は、ごくわずかな観察に基づく予測を必要とする。 堅牢な予測モデルを構築するには、特に設計空間が多次元である場合、これらのスパースデータをシミュレーションデータで拡張する必要がある。 ディープラーニングの最近の開発を組み合わせて、マルチモーダルデータからより堅牢な予測モデルを構築します。
• 参考スコア（独自算出の注目度）: 15.587831925516957
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Many problems in science, engineering, and business require making predictions based on very few observations. To build a robust predictive model, these sparse data may need to be augmented with simulated data, especially when the design space is multidimensional. Simulations, however, often suffer from an inherent bias. Estimation of this bias may be poorly constrained not only because of data sparsity, but also because traditional predictive models fit only one type of observations, such as scalars or images, instead of all available data modalities, which might have been acquired and simulated at great cost. We combine recent developments in deep learning to build more robust predictive models from multimodal data with a recent, novel technique to suppress the bias, and extend it to take into account multiple data modalities. First, an initial, simulation-trained, neural network surrogate model learns important correlations between different data modalities and between simulation inputs and outputs. Then, the model is partially retrained, or transfer learned, to fit the observations. Using fewer than 10 inertial confinement fusion experiments for retraining, we demonstrate that this technique systematically improves simulation predictions while a simple output calibration makes predictions worse. We also offer extensive cross-validation with real and synthetic data to support our findings. The transfer learning method can be applied to other problems that require transferring knowledge from simulations to the domain of real observations. This paper opens up the path to model calibration using multiple data types, which have traditionally been ignored in predictive models.
• Abstract（参考訳）: 科学、工学、ビジネスにおける多くの問題は、ごくわずかな観察に基づく予測を必要とする。 堅牢な予測モデルを構築するには、特に設計空間が多次元である場合、これらのスパースデータをシミュレーションデータで拡張する必要がある。 しかしシミュレーションは、しばしば固有のバイアスに悩まされる。 従来の予測モデルはスカラーや画像のような1種類の観測にのみ適合するので、このバイアスの予測はデータの分散のためだけでなく、大きなコストで取得・シミュレートされたすべてのデータモダリティに代えて、制約の弱いものとなる。 我々は,マルチモーダルデータからよりロバストな予測モデルを構築するために,ディープラーニングの最近の進展と,バイアスを抑制する最新の新しい手法を組み合わせて,複数のデータモダリティを考慮したモデルの拡張を行う。 まず、初期、シミュレーション訓練されたニューラルネットワークサロゲートモデルは、異なるデータモダリティとシミュレーション入力と出力の間の重要な相関を学習する。 その後、モデルは部分的に再訓練されるか、あるいは学習され、観察に適合する。 この手法は,10個未満の慣性凝縮核融合実験を用いてシミュレーション予測を体系的に改善し,単純な出力校正により予測が悪化することを示した。 また,本研究を支援するために,実データと合成データとのクロスバリデーションも行った。 伝達学習法は、シミュレーションから実観察領域への知識の伝達を必要とする他の問題に適用することができる。 本稿では,従来予測モデルでは無視されてきた複数のデータ型を用いたモデル校正への道を開く。

関連論文リスト

• Towards Theoretical Understandings of Self-Consuming Generative Models [60.98692028151328]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,この学習規則が将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 我々は拡散モデルに一般結果を特化し、自己消費ループ内での最適な早期停止の有効性などの微妙な洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Interpretable models for extrapolation in scientific machine learning [0.0]
  複雑な機械学習アルゴリズムは、補間的設定において単純な回帰よりも優れていることが多い。 本稿では, モデル性能と解釈可能性のトレードオフを, 幅広い科学・工学的問題にまたがって検討する。
  論文  参考訳（メタデータ） (2022-12-16T19:33:28Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Cognitive simulation models for inertial confinement fusion: Combining simulation and experimental data [0.0]
  研究者は、高性能な爆発を求めて設計空間を探索するためにコンピュータシミュレーションに大きく依存しています。 より効果的な設計と調査のために、シミュレーションは過去の実験データからの入力を必要とする。 本稿では,シミュレーションと実験データを共通の予測モデルに組み合わせた認知シミュレーション手法について述べる。
  論文  参考訳（メタデータ） (2021-03-19T02:00:14Z)
• Synthesizing Irreproducibility in Deep Networks [2.28438857884398]
  現代のディープネットワークは非生産性に苦しむ(非決定性または不特定化とも呼ばれる) 単一の非線形性や非常に単純なデータやモデルであっても、不再現性が生じることを示す。 モデルの複雑さと非線形性の選択は、深いモデルを再現不能にする上で重要な役割を果たす。
  論文  参考訳（メタデータ） (2021-02-21T21:51:28Z)
• Designing Accurate Emulators for Scientific Processes using Calibration-Driven Deep Models [33.935755695805724]
  Learn-by-Calibrating (LbC)は、科学応用においてエミュレータを設計するための新しいディープラーニングアプローチである。 また,LbCは広く適応された損失関数の選択に対して,一般化誤差を大幅に改善することを示した。 LbCは、小さなデータレギュレータでも高品質なエミュレータを実現し、さらに重要なことは、明確な事前条件なしで固有のノイズ構造を復元する。
  論文  参考訳（メタデータ） (2020-05-05T16:54:11Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)
• Forecasting Industrial Aging Processes with Machine Learning Methods [0.0]
  我々は、従来のステートレスモデルとより複雑なリカレントニューラルネットワークを比較して、幅広いデータ駆動モデルを評価する。 以上の結果から,リカレントモデルでは,より大きなデータセットでトレーニングした場合,ほぼ完璧な予測が得られた。
  論文  参考訳（メタデータ） (2020-02-05T13:06:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。