論文の概要: How simple can you go? An off-the-shelf transformer approach to molecular dynamics

• arxiv url: http://arxiv.org/abs/2503.01431v2
• Date: Wed, 05 Mar 2025 14:04:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 12:09:19.107127
• Title: How simple can you go? An off-the-shelf transformer approach to molecular dynamics
• Title（参考訳）: どれくらい簡単なのか?分子動力学へのオフザシェルフトランスフォーマーアプローチ
• Authors: Max Eissler, Tim Korjakow, Stefan Ganscha, Oliver T. Unke, Klaus-Robert Müller, Stefan Gugler,
• Abstract要約: 本稿では,分子動力学の「オフ・ザ・シェルフ」トランスフォーマーアーキテクチャを用いたレシピを提案する。 少数のステップを微調整した後、いくつかのベンチマークで最先端の結果を示す。 提案モデルでは, 大規模構造物における脱落エネルギーの増加を示す一方で, 小型構造物のエネルギー保存型NVEシミュレーションについて概説する。
• 参考スコア（独自算出の注目度）: 12.43697084093203
• License:
• Abstract: Most current neural networks for molecular dynamics (MD) include physical inductive biases, resulting in specialized and complex architectures. This is in contrast to most other machine learning domains, where specialist approaches are increasingly replaced by general-purpose architectures trained on vast datasets. In line with this trend, several recent studies have questioned the necessity of architectural features commonly found in MD models, such as built-in rotational equivariance or energy conservation. In this work, we contribute to the ongoing discussion by evaluating the performance of an MD model with as few specialized architectural features as possible. We present a recipe for MD using an Edge Transformer, an "off-the-shelf'' transformer architecture that has been minimally modified for the MD domain, termed MD-ET. Our model implements neither built-in equivariance nor energy conservation. We use a simple supervised pre-training scheme on $\sim$30 million molecular structures from the QCML database. Using this "off-the-shelf'' approach, we show state-of-the-art results on several benchmarks after fine-tuning for a small number of steps. Additionally, we examine the effects of being only approximately equivariant and energy conserving for MD simulations, proposing a novel method for distinguishing the errors resulting from non-equivariance from other sources of inaccuracies like numerical rounding errors. While our model exhibits runaway energy increases on larger structures, we show approximately energy-conserving NVE simulations for a range of small structures.
• Abstract（参考訳）: 分子動力学(MD)のための現在のほとんどのニューラルネットワークは、物理的帰納バイアスを含み、特殊で複雑なアーキテクチャをもたらす。 これは、多くの機械学習ドメインとは対照的で、専門的なアプローチは、巨大なデータセットでトレーニングされた汎用アーキテクチャに置き換わる傾向にある。 この傾向に沿って、最近のいくつかの研究では、MDモデルに共通する構造的特徴、例えば内蔵の回転同分散やエネルギー保存の必要性が疑問視されている。 本稿では,MDモデルの性能を可能な限り限定的なアーキテクチャ特性で評価することにより,現在進行中の議論に貢献する。 MDドメインに対して最小限に修正された「オフ・ザ・シェルフ」トランスフォーマーアーキテクチャである「エッジトランス」を用いてMDのレシピを提案する。 我々のモデルは、組み込まれている等式もエネルギー保存も実装しない。 QCMLデータベースから$\sim$3000万の分子構造に対する単純な教師付き事前学習方式を用いる。 この「オフ・ザ・シェルフ」アプローチを用いて、少数のステップを微調整した後、いくつかのベンチマークで最先端の結果を示す。 さらに、MDシミュレーションにおけるほぼ同変とエネルギー保存のみの効果について検討し、数値的な丸め誤差のような他の不正確な情報源と非等変による誤差を区別する新しい手法を提案する。 提案モデルでは, 大規模構造物における脱落エネルギーの増加を示す一方で, 小型構造物のエネルギー保存型NVEシミュレーションについて概説する。

関連論文リスト

• Optimal Equivariant Architectures from the Symmetries of Matrix-Element Likelihoods [0.0]
  マトリックス要素法(MEM)は長年、高エネルギー物理学におけるデータ解析の基盤となっている。 幾何学的なディープラーニングは、既知の対称性を直接設計に組み込むニューラルネットワークアーキテクチャを可能にした。 本稿では、MEMにインスパイアされた対称性と、粒子物理解析のための同変ニューラルネットワーク設計を組み合わせた新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-24T08:56:37Z)
• Generative Modeling of Molecular Dynamics Trajectories [12.255021091552441]
  データからMDの柔軟なマルチタスクサロゲートモデルを学ぶためのパラダイムとして,分子軌道の生成モデルを提案する。 このような生成モデルは,前方シミュレーションや遷移経路サンプリング,軌道上アップサンプリングといった多様なタスクに適応可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-26T13:02:28Z)
• A Multi-Grained Symmetric Differential Equation Model for Learning Protein-Ligand Binding Dynamics [73.35846234413611]
  薬物発見において、分子動力学(MD)シミュレーションは、結合親和性を予測し、輸送特性を推定し、ポケットサイトを探索する強力なツールを提供する。 我々は,数値MDを容易にし,タンパク質-リガンド結合ダイナミクスの正確なシミュレーションを提供する,最初の機械学習サロゲートであるNeuralMDを提案する。 従来の数値MDシミュレーションと比較して1K$times$ Speedupを実現することにより,NeuralMDの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-26T09:35:17Z)
• Opening the Black Box: Towards inherently interpretable energy data imputation models using building physics insight [0.0]
  本稿では, 物理インフォームド・デノイング・オートエンコーダ (PI-DAE) を用いて, 商業ビルにおけるデータ計算の欠如について検討する。 特に,提案手法は物理に着想を得たソフト制約をデノナイジングオートエンコーダ(DAE)の損失関数に適用する。
  論文  参考訳（メタデータ） (2023-11-28T09:34:44Z)
• Smooth, exact rotational symmetrization for deep learning on point clouds [0.0]
  汎用のポイントクラウドモデルはより多様であるが、しばしば回転対称性を無視する。 本稿では,他のすべての要件を保ちながら任意のモデルに回転同値を付加する一般対称性化法を提案する。 このアイデアは,本質的同変ではないが,分子や固体のベンチマークデータセット上での最先端性能を実現するPoint Edge Transformer (PET) アーキテクチャを導入することで実証する。
  論文  参考訳（メタデータ） (2023-05-30T15:26:43Z)
• DA-VEGAN: Differentiably Augmenting VAE-GAN for microstructure reconstruction from extremely small data sets [110.60233593474796]
  DA-VEGANは2つの中心的なイノベーションを持つモデルである。 $beta$-variational autoencoderはハイブリッドGANアーキテクチャに組み込まれている。 このアーキテクチャに特化して、独自の差別化可能なデータ拡張スキームが開発されている。
  論文  参考訳（メタデータ） (2023-02-17T08:49:09Z)
• A Score-based Geometric Model for Molecular Dynamics Simulations [33.158796937777886]
  分子配座のログ密度の勾配を推定する新しいモデルScoreMDを提案する。 複数のアーキテクチャの改善により、MD17とC7O2H10の異性体において最先端のベースラインよりも優れています。 この研究は、新しい物質の加速と薬物発見に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2022-04-19T05:13:46Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Geometric Transformer for End-to-End Molecule Properties Prediction [92.28929858529679]
  分子特性予測のためのトランスフォーマーに基づくアーキテクチャを導入し,分子の形状を捉える。 分子幾何学の初期符号化による古典的な位置エンコーダと、学習されたゲート自己保持機構を改変する。
  論文  参考訳（メタデータ） (2021-10-26T14:14:40Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。