論文の概要: Lifelong Machine Learning Potentials
- arxiv url: http://arxiv.org/abs/2303.05911v1
- Date: Fri, 10 Mar 2023 13:38:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-13 15:02:15.429599
- Title: Lifelong Machine Learning Potentials
- Title（参考訳）: 生涯機械学習の可能性
- Authors: Marco Eckhoff and Markus Reiher
- Abstract要約: 本稿では, 元素中心関数 (eeACSF) を導入し, 構造特性と周期表からの元素情報を組み合わせた。
我々は、新しいデータの連続ストリーム上で自律的およびオンザフライトレーニングを可能にするために、継続的な学習戦略を適用します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning potentials (MLPs) trained on accurate quantum chemical data
can retain the high accuracy, while inflicting little computational demands. On
the downside, they need to be trained for each individual system. In recent
years, a vast number of MLPs has been trained from scratch because learning
additional data typically requires to train again on all data to not forget
previously acquired knowledge. Additionally, most common structural descriptors
of MLPs cannot represent efficiently a large number of different chemical
elements. In this work, we tackle these problems by introducing
element-embracing atom-centered symmetry functions (eeACSFs) which combine
structural properties and element information from the periodic table. These
eeACSFs are a key for our development of a lifelong machine learning potential
(lMLP). Uncertainty quantification can be exploited to transgress a fixed,
pre-trained MLP to arrive at a continuously adapting lMLP, because a predefined
level of accuracy can be ensured. To extend the applicability of an lMLP to new
systems, we apply continual learning strategies to enable autonomous and
on-the-fly training on a continuous stream of new data. For the training of
deep neural networks, we propose the continual resilient (CoRe) optimizer and
incremental learning strategies relying on rehearsal of data, regularization of
parameters, and the architecture of the model.
- Abstract（参考訳）: 正確な量子化学データに基づいてトレーニングされた機械学習ポテンシャル(MLP)は、計算要求にほとんど影響せず、高い精度を維持することができる。
マイナス面は、個々のシステムのためにトレーニングする必要があります。
近年、多くのMLPがゼロから訓練されている。なぜなら、追加のデータを学習するには、通常、以前取得した知識を忘れないように、すべてのデータで再びトレーニングする必要があるからだ。
さらに、MLPの構造記述子は、多くの異なる化学元素を効率的に表現することはできない。
本研究では,原子中心対称性関数 (eeacsfs) を周期表から構造的性質と元素情報を組み合わせて導入することにより,これらの問題に対処する。
これらのeeACSFは、生涯にわたる機械学習の可能性(lMLP)の発展の鍵です。
不確かさの定量化は、予め定義された精度のレベルを確保できるため、固定された事前訓練されたMLPを継続的に適応するlMLPに到達させるために利用することができる。
lmlpの新たなシステムへの適用性を高めるために,連続学習戦略を適用し,新たなデータの連続ストリーム上での自律的およびオンザフライトレーニングを実現する。
深層ニューラルネットワークの学習のために,データのリハーサル,パラメータの正規化,モデルのアーキテクチャに依存する連続的回復性(コア)オプティマイザとインクリメンタル学習戦略を提案する。
関連論文リスト
- What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。
現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。
本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-07T21:36:52Z) - Physics-Informed Weakly Supervised Learning for Interatomic Potentials [17.165117198519248]
我々は、機械学習型原子間ポテンシャルのトレーニングのための物理インフォームド、弱教師付きアプローチを導入する。
我々は、様々なベースラインモデルとベンチマークデータセットに対して、エネルギーと力の誤差を(しばしば2倍以下に)減らすことを示した。
論文 参考訳（メタデータ） (2024-07-23T12:49:04Z) - Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。
MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。
実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
論文 参考訳（メタデータ） (2024-06-27T04:00:15Z) - On the Interplay of Subset Selection and Informed Graph Neural Networks [3.091456764812509]
この研究は、QM9データセットにおける分子の原子化エネルギーの予測に焦点を当てている。
トレーニングセット選択過程における分子多様性の最大化は,線形回帰法および非線形回帰法のロバスト性を高めることを示す。
また、モデルに依存しない説明器を用いて、グラフニューラルネットワークによる予測の信頼性を確認する。
論文 参考訳（メタデータ） (2023-06-15T09:09:27Z) - Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。
鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。
PlugLMは4つのドメインで平均3.95のF1改善を実現している。
論文 参考訳（メタデータ） (2023-05-19T10:01:55Z) - Self-learning locally-optimal hypertuning using maximum entropy, and
comparison of machine learning approaches for estimating fatigue life in
composite materials [0.0]
疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。
予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
論文 参考訳（メタデータ） (2022-10-19T12:20:07Z) - Knowledge Inheritance for Pre-trained Language Models [57.51305807391381]
我々は「知識継承(KI)」という新しい事前学習フレームワークを導入する。
KIは、自己学習と教師指導の両方を組み合わせて、より大きなPLMを効率的に訓練する。
KIは生涯学習と知識伝達を十分に支援できることを示す。
論文 参考訳（メタデータ） (2021-05-28T14:43:26Z) - Automated discovery of a robust interatomic potential for aluminum [4.6028828826414925]
機械学習(ML)ベースのポテンシャルは、量子力学(QM)計算の忠実なエミュレーションを、計算コストを大幅に削減することを目的としている。
アクティブラーニング(AL)の原理を用いたデータセット構築のための高度に自動化されたアプローチを提案する。
アルミニウム(ANI-Al)のMLポテンシャル構築によるこのアプローチの実証
転写性を示すために、1.3M原子衝撃シミュレーションを行い、非平衡力学から採取した局所原子環境上でのDFT計算とANI-Al予測がよく一致することを示す。
論文 参考訳（メタデータ） (2020-03-10T19:06:32Z) - Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。
MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。
本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文 参考訳（メタデータ） (2020-02-17T19:06:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。