論文の概要: Lifelong Machine Learning Potentials
- arxiv url: http://arxiv.org/abs/2303.05911v1
- Date: Fri, 10 Mar 2023 13:38:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-13 15:02:15.429599
- Title: Lifelong Machine Learning Potentials
- Title(参考訳): 生涯機械学習の可能性
- Authors: Marco Eckhoff and Markus Reiher
- Abstract要約: 本稿では, 元素中心関数 (eeACSF) を導入し, 構造特性と周期表からの元素情報を組み合わせた。
我々は、新しいデータの連続ストリーム上で自律的およびオンザフライトレーニングを可能にするために、継続的な学習戦略を適用します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning potentials (MLPs) trained on accurate quantum chemical data
can retain the high accuracy, while inflicting little computational demands. On
the downside, they need to be trained for each individual system. In recent
years, a vast number of MLPs has been trained from scratch because learning
additional data typically requires to train again on all data to not forget
previously acquired knowledge. Additionally, most common structural descriptors
of MLPs cannot represent efficiently a large number of different chemical
elements. In this work, we tackle these problems by introducing
element-embracing atom-centered symmetry functions (eeACSFs) which combine
structural properties and element information from the periodic table. These
eeACSFs are a key for our development of a lifelong machine learning potential
(lMLP). Uncertainty quantification can be exploited to transgress a fixed,
pre-trained MLP to arrive at a continuously adapting lMLP, because a predefined
level of accuracy can be ensured. To extend the applicability of an lMLP to new
systems, we apply continual learning strategies to enable autonomous and
on-the-fly training on a continuous stream of new data. For the training of
deep neural networks, we propose the continual resilient (CoRe) optimizer and
incremental learning strategies relying on rehearsal of data, regularization of
parameters, and the architecture of the model.
- Abstract(参考訳): 正確な量子化学データに基づいてトレーニングされた機械学習ポテンシャル(MLP)は、計算要求にほとんど影響せず、高い精度を維持することができる。
マイナス面は、個々のシステムのためにトレーニングする必要があります。
近年、多くのMLPがゼロから訓練されている。なぜなら、追加のデータを学習するには、通常、以前取得した知識を忘れないように、すべてのデータで再びトレーニングする必要があるからだ。
さらに、MLPの構造記述子は、多くの異なる化学元素を効率的に表現することはできない。
本研究では,原子中心対称性関数 (eeacsfs) を周期表から構造的性質と元素情報を組み合わせて導入することにより,これらの問題に対処する。
これらのeeACSFは、生涯にわたる機械学習の可能性(lMLP)の発展の鍵です。
不確かさの定量化は、予め定義された精度のレベルを確保できるため、固定された事前訓練されたMLPを継続的に適応するlMLPに到達させるために利用することができる。
lmlpの新たなシステムへの適用性を高めるために,連続学習戦略を適用し,新たなデータの連続ストリーム上での自律的およびオンザフライトレーニングを実現する。
深層ニューラルネットワークの学習のために,データのリハーサル,パラメータの正規化,モデルのアーキテクチャに依存する連続的回復性(コア)オプティマイザとインクリメンタル学習戦略を提案する。
関連論文リスト
- Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the
Ugly [66.19763977571114]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。
マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文 参考訳(メタデータ) (2023-10-04T20:27:20Z) - On the Interplay of Subset Selection and Informed Graph Neural Networks [3.091456764812509]
この研究は、QM9データセットにおける分子の原子化エネルギーの予測に焦点を当てている。
トレーニングセット選択過程における分子多様性の最大化は,線形回帰法および非線形回帰法のロバスト性を高めることを示す。
また、モデルに依存しない説明器を用いて、グラフニューラルネットワークによる予測の信頼性を確認する。
論文 参考訳(メタデータ) (2023-06-15T09:09:27Z) - Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。
鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。
PlugLMは4つのドメインで平均3.95のF1改善を実現している。
論文 参考訳(メタデータ) (2023-05-19T10:01:55Z) - Can recurrent neural networks learn process model structure? [0.2580765958706854]
本稿では,適合度,精度,一般化のために,変分に基づく再サンプリングとカスタムメトリクスを組み合わせた評価フレームワークを提案する。
LSTMは、単純化されたプロセスデータであっても、プロセスモデル構造を学ぶのに苦労する可能性があることを確認します。
また,トレーニング中にLSTMで見られる情報量が減少すると,一般化や精度の低下が生じた。
論文 参考訳(メタデータ) (2022-12-13T08:40:01Z) - Self-learning locally-optimal hypertuning using maximum entropy, and
comparison of machine learning approaches for estimating fatigue life in
composite materials [0.0]
疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。
予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
論文 参考訳(メタデータ) (2022-10-19T12:20:07Z) - Deep Reinforcement Learning for Multi-class Imbalanced Training [64.9100301614621]
我々は、極めて不均衡なデータセットをトレーニングするために、強化学習に基づく不均衡な分類フレームワークを導入する。
特注報酬関数とエピソード学習手順を定式化し、特にマルチクラス不均衡トレーニングを扱えるようにした。
実世界の臨床ケーススタディを用いて,提案手法が現状の非バランス学習法より優れていることを示す。
論文 参考訳(メタデータ) (2022-05-24T13:39:59Z) - Merging Two Cultures: Deep and Statistical Learning [3.15863303008255]
深層学習と統計的学習の2つの文化を組み合わせることで、構造化された高次元データに対する洞察が得られる。
モデルの出力層における確率的手法を用いて予測,最適化,不確実性を実現できることを示す。
論文 参考訳(メタデータ) (2021-10-22T02:57:21Z) - Knowledge Inheritance for Pre-trained Language Models [57.51305807391381]
我々は「知識継承(KI)」という新しい事前学習フレームワークを導入する。
KIは、自己学習と教師指導の両方を組み合わせて、より大きなPLMを効率的に訓練する。
KIは生涯学習と知識伝達を十分に支援できることを示す。
論文 参考訳(メタデータ) (2021-05-28T14:43:26Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z) - Automated discovery of a robust interatomic potential for aluminum [4.6028828826414925]
機械学習(ML)ベースのポテンシャルは、量子力学(QM)計算の忠実なエミュレーションを、計算コストを大幅に削減することを目的としている。
アクティブラーニング(AL)の原理を用いたデータセット構築のための高度に自動化されたアプローチを提案する。
アルミニウム(ANI-Al)のMLポテンシャル構築によるこのアプローチの実証
転写性を示すために、1.3M原子衝撃シミュレーションを行い、非平衡力学から採取した局所原子環境上でのDFT計算とANI-Al予測がよく一致することを示す。
論文 参考訳(メタデータ) (2020-03-10T19:06:32Z) - Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。
MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。
本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文 参考訳(メタデータ) (2020-02-17T19:06:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。