論文の概要: DPA-1: Pretraining of Attention-based Deep Potential Model for Molecular Simulation

• arxiv url: http://arxiv.org/abs/2208.08236v4
• Date: Fri, 15 Sep 2023 03:33:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 19:06:23.138465
• Title: DPA-1: Pretraining of Attention-based Deep Potential Model for Molecular Simulation
• Title（参考訳）: DPA-1:分子シミュレーションのための注意に基づく深部電位モデルの事前学習
• Authors: Duo Zhang, Hangrui Bi, Fu-Zhi Dai, Wanrun Jiang, Linfeng Zhang, Han Wang
• Abstract要約: 本稿では,新しいアテンション機構を持つディープポテンシャルモデルDPA-1を提案する。 56要素を含む大規模データセットに事前トレーニングされた場合、DPA-1は様々な下流タスクにうまく適用できる。 異なる要素に対して、学習された型埋め込みパラメータは潜在空間において$spiral$を形成し、周期表上のそれらの位置と自然な対応を持つ。
• 参考スコア（独自算出の注目度）: 13.631315487331195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning assisted modeling of the inter-atomic potential energy surface (PES) is revolutionizing the field of molecular simulation. With the accumulation of high-quality electronic structure data, a model that can be pretrained on all available data and finetuned on downstream tasks with a small additional effort would bring the field to a new stage. Here we propose DPA-1, a Deep Potential model with a novel attention mechanism, which is highly effective for representing the conformation and chemical spaces of atomic systems and learning the PES. We tested DPA-1 on a number of systems and observed superior performance compared with existing benchmarks. When pretrained on large-scale datasets containing 56 elements, DPA-1 can be successfully applied to various downstream tasks with a great improvement of sample efficiency. Surprisingly, for different elements, the learned type embedding parameters form a $spiral$ in the latent space and have a natural correspondence with their positions on the periodic table, showing interesting interpretability of the pretrained DPA-1 model.
• Abstract（参考訳）: 原子間ポテンシャルエネルギー表面(PES)のモデリングを支援する機械学習は、分子シミュレーションの分野に革命をもたらした。 高品質な電子構造データの蓄積により、利用可能なすべてのデータで事前トレーニングされ、小さな労力で下流タスクに微調整されるモデルによって、新たなステージにフィールドがもたらされる。 本稿では,原子系のコンフォメーションと化学空間の表現やpesの学習に非常に有効である,新しい注意機構を持つ深層ポテンシャルモデルであるdpa-1を提案する。 dpa-1を複数のシステムでテストし,既存のベンチマークと比較して優れた性能を示した。 56個の要素を含む大規模データセットに事前トレーニングされた場合、DPA-1はサンプル効率を大幅に向上させ、様々な下流タスクにうまく適用できる。 驚くべきことに、異なる要素に対して、学習された型埋め込みパラメータは潜時空間において$spiral$を形成し、周期表上のそれらの位置と自然な対応を持ち、事前訓練されたDPA-1モデルの興味深い解釈可能性を示す。

関連論文リスト

• Uni-Mol2: Exploring Molecular Pretraining Model at Scale [27.172011090947823]
  原子レベル, グラフレベル, 幾何学構造レベルを統合した分子事前学習モデルUni-Mol2を提案する。 我々は8億のコンフォメーションを事前トレーニングすることで、Uni-Mol2を11億のパラメータに拡張することに成功し、これまでで最大の分子前訓練モデルとなった。
  論文  参考訳（メタデータ） (2024-06-21T08:28:54Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Molecule Design by Latent Prompt Transformer [76.2112075557233]
  本研究は、分子設計の課題を条件付き生成モデリングタスクとしてフレーミングすることによって検討する。 本研究では,(1)学習可能な事前分布を持つ潜伏ベクトル,(2)プロンプトとして潜伏ベクトルを用いる因果トランスフォーマーに基づく分子生成モデル,(3)潜在プロンプトを用いた分子の目標特性および/または制約値を予測する特性予測モデルからなる新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-27T03:33:23Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• A Multi-Grained Symmetric Differential Equation Model for Learning Protein-Ligand Binding Dynamics [73.35846234413611]
  薬物発見において、分子動力学(MD)シミュレーションは、結合親和性を予測し、輸送特性を推定し、ポケットサイトを探索する強力なツールを提供する。 我々は,数値MDを容易にし,タンパク質-リガンド結合ダイナミクスの正確なシミュレーションを提供する,最初の機械学習サロゲートであるNeuralMDを提案する。 従来の数値MDシミュレーションと比較して1K$times$ Speedupを実現することにより,NeuralMDの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-26T09:35:17Z)
• Masked Particle Modeling on Sets: Towards Self-Supervised High Energy Physics Foundation Models [4.299997052226609]
  Masked Particle Modeling (MPM) は、無秩序な入力集合上の汎用的、転送可能、再利用可能な表現を学習するための自己教師付き手法である。 本研究では,コライダー物理実験における高エネルギージェットの試料中の方法の有効性について検討した。
  論文  参考訳（メタデータ） (2024-01-24T15:46:32Z)
• Transfer learning for chemically accurate interatomic neural network potentials [0.0]
  密度汎関数計算から得られたデータに基づいてネットワークパラメータを事前学習することにより、より正確なab-initioデータに基づいてトレーニングされたモデルのサンプル効率が向上することを示す。 ANI-1x および ANI-1ccx データセット上で事前訓練および微調整されたGM-NN電位を提供する。
  論文  参考訳（メタデータ） (2022-12-07T19:21:01Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• BIGDML: Towards Exact Machine Learning Force Fields for Materials [55.944221055171276]
  機械学習力場(MLFF)は正確で、計算的で、データ効率が良く、分子、材料、およびそれらのインターフェースに適用できなければならない。 ここでは、Bravais-Inspired Gradient-Domain Machine Learningアプローチを導入し、わずか10-200原子のトレーニングセットを用いて、信頼性の高い力場を構築する能力を実証する。
  論文  参考訳（メタデータ） (2021-06-08T10:14:57Z)
• Embedded-physics machine learning for coarse-graining and collective variable discovery without data [3.222802562733787]
  基礎となる物理を一貫して組み込む新しい学習フレームワークを提案する。 原子間力場の形で利用可能な物理学を完全に組み込んだ逆クルバック・リーブラー分岐に基づく新しい目的を提案する。 本研究は,バイモーダルポテンシャルエネルギー関数とアラニンジペプチドに対するCVの予測能力および物理的意義の観点からアルゴリズムの進歩を実証する。
  論文  参考訳（メタデータ） (2020-02-24T10:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。