論文の概要: A Note on Learning Rare Events in Molecular Dynamics using LSTM and
Transformer
- arxiv url: http://arxiv.org/abs/2107.06573v1
- Date: Wed, 14 Jul 2021 09:26:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-15 14:24:53.710849
- Title: A Note on Learning Rare Events in Molecular Dynamics using LSTM and
Transformer
- Title（参考訳）: lstmとトランスフォーマを用いた分子動力学における希少事象の学習
- Authors: Wenqi Zeng, Siqin Cao, Xuhui Huang, Yuan Yao
- Abstract要約: 近年,低次元反応座標のシミュレーションデータを用いてLSTMによるスローダイナミクスの学習に成功した。
本稿では, 言語モデル学習の性能, すなわち反応座標の次元性, 時間分解能, 状態分割の3つの重要な要因について述べる。
- 参考スコア（独自算出の注目度）: 4.80427355202687
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent neural networks for language models like long short-term memory
(LSTM) have been utilized as a tool for modeling and predicting long term
dynamics of complex stochastic molecular systems. Recently successful examples
on learning slow dynamics by LSTM are given with simulation data of low
dimensional reaction coordinate. However, in this report we show that the
following three key factors significantly affect the performance of language
model learning, namely dimensionality of reaction coordinates, temporal
resolution and state partition. When applying recurrent neural networks to
molecular dynamics simulation trajectories of high dimensionality, we find that
rare events corresponding to the slow dynamics might be obscured by other
faster dynamics of the system, and cannot be efficiently learned. Under such
conditions, we find that coarse graining the conformational space into
metastable states and removing recrossing events when estimating transition
probabilities between states could greatly help improve the accuracy of slow
dynamics learning in molecular dynamics. Moreover, we also explore other models
like Transformer, which do not show superior performance than LSTM in
overcoming these issues. Therefore, to learn rare events of slow molecular
dynamics by LSTM and Transformer, it is critical to choose proper temporal
resolution (i.e., saving intervals of MD simulation trajectories) and state
partition in high resolution data, since deep neural network models might not
automatically disentangle slow dynamics from fast dynamics when both are
present in data influencing each other.
- Abstract（参考訳）: 長期記憶(LSTM)のような言語モデルのためのリカレントニューラルネットワークは、複雑な確率的分子系の長期力学をモデル化し予測するためのツールとして利用されてきた。
近年,低次元反応座標のシミュレーションデータを用いてLSTMによるスローダイナミクスの学習に成功した。
しかし,本報告では,反応座標の次元性,時間分解能,状態分割の3つの要因が言語モデル学習の性能に有意な影響を与えていることを示す。
高次元の分子動力学シミュレーションにリカレントニューラルネットワークを適用すると、スローダイナミクスに対応する稀な事象がシステムの他のより高速なダイナミクスによって隠蔽され、効率的に学習できないことが分かる。
このような条件下では、コンフォメーション空間を準安定状態に粗粒化させ、状態間の遷移確率を推定する際に再交差イベントを取り除くことで、分子動力学におけるスローダイナミクス学習の精度を大幅に向上させることができる。
さらに,これらの問題を克服する上で,LSTMよりも優れた性能を示しないTransformerなどのモデルについても検討する。
したがって、LSTMとTransformerによって遅い分子動力学の希少事象を学習するには、高分解能データにおいて適切な時間分解能(すなわちMDシミュレーション軌跡の保存間隔)と状態分割を選択することが重要である。
関連論文リスト
- Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。
EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。
粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-19T21:50:32Z) - Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
ConvS5は、長距離時間モデリングのための効率的な変種である。
トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
論文 参考訳（メタデータ） (2023-10-30T16:11:06Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - A Neural PDE Solver with Temporal Stencil Modeling [44.97241931708181]
最近の機械学習(ML)モデルでは、高解像度信号において重要なダイナミクスを捉えることが約束されている。
この研究は、低解像度のダウンサンプリング機能で重要な情報が失われることがしばしばあることを示している。
本稿では,高度な時系列シーケンスモデリングと最先端のニューラルPDEソルバの強みを組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2023-02-16T06:13:01Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳（メタデータ） (2022-06-07T02:25:38Z) - An advanced spatio-temporal convolutional recurrent neural network for
storm surge predictions [73.4962254843935]
本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。
本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
論文 参考訳（メタデータ） (2022-04-18T23:42:18Z) - Analytically Integratable Zero-restlength Springs for Capturing Dynamic
Modes unrepresented by Quasistatic Neural Networks [6.601755525003559]
本稿では,ニューラルネットワークを用いて,ある種の動的シミュレーションをリアルタイムにモデル化するための新しいパラダイムを提案する。
準静的ニューラルネットワーク(QNN)の推論を(リアルタイム)動的シミュレーション層で拡張する。
本研究では, 驚くほど少量の動的シミュレーションデータから, スプリングパラメータを頑健に学習できることを実証した。
論文 参考訳（メタデータ） (2022-01-25T06:44:15Z) - Super-resolution in Molecular Dynamics Trajectory Reconstruction with
Bi-Directional Neural Networks [0.0]
機械学習(ML)の異なる手法を探索し、後処理のステップで分子動力学軌道の解像度をオンデマンドで向上する。
サーモスタット軌道の局所的時間対称性を利用して、長距離相関を学習し、分子の複雑さにまたがる雑音のダイナミックスに対して高いロバスト性を示すことができる。
論文 参考訳（メタデータ） (2022-01-02T23:00:30Z) - Action-Conditional Recurrent Kalman Networks For Forward and Inverse
Dynamics Learning [17.80270555749689]
ロボットのモデルベース制御において、正確な前方および逆ダイナミクスモデルの推定が重要な要素である。
本稿では,フォワードモデル学習のためのアーキテクチャと,逆モデル学習のためのアーキテクチャを提案する。
どちらのアーキテクチャも、予測性能の点で、既存のモデル学習フレームワークと分析モデルを大きく上回っている。
論文 参考訳（メタデータ） (2020-10-20T11:28:25Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。