論文の概要: Particle Swarm Based Hyper-Parameter Optimization for Machine Learned
Interatomic Potentials
- arxiv url: http://arxiv.org/abs/2101.00049v1
- Date: Thu, 31 Dec 2020 19:27:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-17 19:47:42.486925
- Title: Particle Swarm Based Hyper-Parameter Optimization for Machine Learned
Interatomic Potentials
- Title（参考訳）: 粒子群を用いた機械学習原子間ポテンシャルのハイパーパラメータ最適化
- Authors: Suresh Kondati Natarajan and Miguel A. Caro
- Abstract要約: 機械学習(ML)アプローチを用いた非経験的原子間電位エネルギー表面(PES)のトレーニングは、分子および材料研究で人気が高まっています。
本稿では,まず特徴抽出段階に関連するhpsを最適化し,次いで訓練段階におけるhpsの最適化を行う2段階最適化戦略を提案する。
この戦略は、訓練が必要なモデルの数を著しく削減することで、全てのHPを同時に最適化するよりも計算効率が良い。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modeling non-empirical and highly flexible interatomic potential energy
surfaces (PES) using machine learning (ML) approaches is becoming popular in
molecular and materials research. Training an ML-PES is typically performed in
two stages: feature extraction and structure-property relationship modeling.
The feature extraction stage transforms atomic positions into a
symmetry-invariant mathematical representation. This representation can be
fine-tuned by adjusting on a set of so-called "hyper-parameters" (HPs).
Subsequently, an ML algorithm such as neural networks or Gaussian process
regression (GPR) is used to model the structure-PES relationship based on
another set of HPs. Choosing optimal values for the two sets of HPs is critical
to ensure the high quality of the resulting ML-PES model.
In this paper, we explore HP optimization strategies tailored for ML-PES
generation using a custom-coded parallel particle swarm optimizer (available
freely at https://github.com/suresh0807/PPSO.git). We employ the smooth overlap
of atomic positions (SOAP) descriptor in combination with GPR-based Gaussian
approximation potentials (GAP) and optimize HPs for four distinct systems: a
toy C dimer, amorphous carbon, $\alpha$-Fe, and small organic molecules (QM9
dataset). We propose a two-step optimization strategy in which the HPs related
to the feature extraction stage are optimized first, followed by the
optimization of the HPs in the training stage. This strategy is computationally
more efficient than optimizing all HPs at the same time by means of
significantly reducing the number of ML models needed to be trained to obtain
the optimal HPs. This approach can be trivially extended to other combinations
of descriptor and ML algorithm and brings us another step closer to fully
automated ML-PES generation.
- Abstract（参考訳）: 機械学習(ML)アプローチを用いた非経験的および高柔軟性原子間ポテンシャルエネルギー表面(PES)のモデリングは、分子・材料研究で人気を博している。
ML-PESのトレーニングは通常、特徴抽出と構造-適合関係モデリングという2つの段階で行われる。
特徴抽出段階は原子位置を対称性不変な数学的表現に変換する。
この表現は、いわゆる"hyper-parameters"(HP)のセットを調整して微調整することができる。
その後、ニューラルネットワークやガウス過程回帰(GPR)などのMLアルゴリズムを使用して、他のHPセットに基づいて構造PES関係をモデル化する。
2組のHPに対して最適な値を選択することは、結果のML-PESモデルの高品質を保証するために重要である。
本稿では、カスタムコード並列粒子群最適化器(https://github.com/suresh0807/PPSO.git)を用いて、ML-PES生成に適したHP最適化戦略を検討する。
我々は,GPRに基づくガウス近似ポテンシャル (GAP) と組み合わせた原子位置記述子 (SOAP) のスムーズな重なり合いを利用して, 玩具C二量体, アモルファス炭素, $\alpha$-Fe, 小さな有機分子 (QM9 データセット) のHPを最適化する。
本稿では,まず特徴抽出段階に関連するhpsを最適化し,次いで訓練段階におけるhpsの最適化を行う2段階最適化戦略を提案する。
この戦略は、最適なHPを得るために訓練されるMLモデルの数を著しく削減することで、全てのHPを同時に最適化するよりも計算効率が良い。
このアプローチは、記述子とMLアルゴリズムの他の組み合わせに自明に拡張することができ、完全に自動化されたML-PES生成にさらに一歩近づくことができます。
関連論文リスト
- AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。
既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。
本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文 参考訳（メタデータ） (2024-03-19T08:40:21Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset [0.15420205433587747]
計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。
我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
論文 参考訳（メタデータ） (2023-02-08T02:38:26Z) - HOAX: A Hyperparameter Optimization Algorithm Explorer for Neural
Networks [0.0]
光誘起過程を研究するための軌道に基づく手法のボトルネックは、今でも膨大な数の電子構造計算である。
本稿では,人工知能の領域から借用した機械学習アルゴリズムと手法を用いることにより,電子構造計算の量を劇的に削減する革新的なソリューションを提案する。
論文 参考訳（メタデータ） (2023-02-01T11:12:35Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。
我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
論文 参考訳（メタデータ） (2021-11-28T05:27:34Z) - HYPPO: A Surrogate-Based Multi-Level Parallelism Tool for Hyperparameter
Optimization [0.2844198651668139]
HYPPOは適応的な代理モデルを使用し、モデル予測の不確実性を説明して、堅牢な予測を行う正確で信頼性の高いモデルを見つける。
本稿では,時系列予測と画像分類問題に対する様々なソフトウェア機能と,コンピュータ断層画像再構成における科学的応用について述べる。
論文 参考訳（メタデータ） (2021-10-04T20:14:22Z) - Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。
本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
論文 参考訳（メタデータ） (2021-09-30T08:49:41Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。