論文の概要: A multifidelity approach to continual learning for physical systems
- arxiv url: http://arxiv.org/abs/2304.03894v1
- Date: Sat, 8 Apr 2023 03:07:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 19:12:19.265668
- Title: A multifidelity approach to continual learning for physical systems
- Title(参考訳): 物理系に対する連続学習への多忠実アプローチ
- Authors: Amanda Howard, Yucheng Fu, and Panos Stinis
- Abstract要約: 本稿では,多要素深層ニューラルネットワークに基づく連続学習手法を提案する。
本手法は,既存のトレーニングデータセット上で,事前学習したモデルの出力と所望のモデルの出力との相関関係を学習する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel continual learning method based on multifidelity deep
neural networks. This method learns the correlation between the output of
previously trained models and the desired output of the model on the current
training dataset, limiting catastrophic forgetting. On its own the
multifidelity continual learning method shows robust results that limit
forgetting across several datasets. Additionally, we show that the
multifidelity method can be combined with existing continual learning methods,
including replay and memory aware synapses, to further limit catastrophic
forgetting. The proposed continual learning method is especially suited for
physical problems where the data satisfy the same physical laws on each domain,
or for physics-informed neural networks, because in these cases we expect there
to be a strong correlation between the output of the previous model and the
model on the current training domain.
- Abstract(参考訳): 本稿では,多要素深層ニューラルネットワークに基づく連続学習手法を提案する。
本手法は,事前訓練したモデルの出力と現在のトレーニングデータセット上でのモデルの所望の出力との相関を学習し,破滅的な忘れを抑える。
それ自体で、multifidelity continual learningメソッドは、複数のデータセットにまたがる忘れることを制限した堅牢な結果を示している。
さらに,本手法は,リプレイやメモリ認識シナプスを含む既存の連続学習手法と組み合わせることで,破滅的な忘れを抑えることができることを示す。
提案する連続学習法は,各領域の物理法則を満足する物理問題や,物理に変形したニューラルネットワークに特に適合する。これらの場合において,前モデルの出力と現在のトレーニング領域のモデルとの間に強い相関があることを期待している。
関連論文リスト
- Diffusion-Generative Multi-Fidelity Learning for Physical Simulation [24.723536390322582]
本研究では,微分方程式(SDE)に基づく拡散生成多忠実学習法を開発した。
付加的な入力(時間変数や空間変数)を条件にすることで、我々のモデルは効率的に多次元の解列を学習し、予測することができる。
論文 参考訳(メタデータ) (2023-11-09T18:59:05Z) - Federated Unlearning via Active Forgetting [24.060724751342047]
インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。
我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
論文 参考訳(メタデータ) (2023-07-07T03:07:26Z) - Continual Learning by Modeling Intra-Class Variation [33.30614232534283]
データやタスクがシーケンシャルに提示された場合、ニューラルネットワークはパフォーマンスが悪くなっていることが観察されている。
人間とは異なり、ニューラルネットワークは破滅的な忘れ込みに悩まされており、生涯学習することは不可能である。
本稿では,記憶に基づく連続学習について検討し,大惨な忘れ込みを避けるためには,表現空間の大規模な変動が不可欠であることを確認した。
論文 参考訳(メタデータ) (2022-10-11T12:17:43Z) - Continual Learning with Bayesian Model based on a Fixed Pre-trained
Feature Extractor [55.9023096444383]
現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。
人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
論文 参考訳(メタデータ) (2022-04-28T08:41:51Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳(メタデータ) (2022-03-08T09:57:48Z) - Characterizing and overcoming the greedy nature of learning in
multi-modal deep neural networks [62.48782506095565]
深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。
本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
論文 参考訳(メタデータ) (2022-02-10T20:11:21Z) - Consistency Training of Multi-exit Architectures for Sensor Data [0.07614628596146598]
本稿では,一貫した出口訓練(Continuous exit training)と呼ばれるマルチエクイットアーキテクチャの堅牢なトレーニングのための,新規かつアーキテクチャに依存しないアプローチを提案する。
弱監督を利用して、モデルの出力を整合性トレーニングと整合させ、ネットワーク内の出口に対してマルチタスク学習方式で二重空間を協調的に最適化する。
論文 参考訳(メタデータ) (2021-09-27T17:11:25Z) - Learning Dynamics from Noisy Measurements using Deep Learning with a
Runge-Kutta Constraint [9.36739413306697]
そこで本研究では,雑音と疎サンプルを用いた微分方程式の学習手法について論じる。
我々の方法論では、ディープニューラルネットワークと古典的な数値積分法の統合において、大きな革新が見られる。
論文 参考訳(メタデータ) (2021-09-23T15:43:45Z) - Emerging Trends in Federated Learning: From Model Fusion to Federated X
Learning [67.51125810705773]
フェデレートラーニング(Federated Learning)は、データ収集とモデルトレーニングを、マルチパーティの計算とモデルアグリゲーションを通じて分離する新しいパラダイムである。
我々は、他の学習アルゴリズムとともに、フェデレーション学習の焦点を絞った調査を行う。
論文 参考訳(メタデータ) (2021-02-25T15:18:13Z) - Using Data Assimilation to Train a Hybrid Forecast System that Combines
Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。
動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文 参考訳(メタデータ) (2021-02-15T19:56:48Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。