論文の概要: MACE: Higher Order Equivariant Message Passing Neural Networks for Fast
and Accurate Force Fields
- arxiv url: http://arxiv.org/abs/2206.07697v1
- Date: Wed, 15 Jun 2022 17:46:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 13:17:28.577003
- Title: MACE: Higher Order Equivariant Message Passing Neural Networks for Fast
and Accurate Force Fields
- Title(参考訳): MACE: 高速かつ高精度な力場のための高次同変メッセージパッシングニューラルネットワーク
- Authors: Ilyes Batatia, D\'avid P\'eter Kov\'acs, Gregor N. C. Simm, Christoph
Ortner, G\'abor Cs\'anyi
- Abstract要約: MACEは,高次メッセージを用いたMPNNモデルである。
4体メッセージを使用することで、必要なメッセージパッシング回数を1つに減らし、高速で並列化可能なモデルが得られることを示す。
- 参考スコア(独自算出の注目度): 4.812321790984494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating fast and accurate force fields is a long-standing challenge in
computational chemistry and materials science. Recently, several equivariant
message passing neural networks (MPNNs) have been shown to outperform models
built using other approaches in terms of accuracy. However, most MPNNs suffer
from high computational cost and poor scalability. We propose that these
limitations arise because MPNNs only pass two-body messages leading to a direct
relationship between the number of layers and the expressivity of the network.
In this work, we introduce MACE, a new equivariant MPNN model that uses higher
body order messages. In particular, we show that using four-body messages
reduces the required number of message passing iterations to just \emph{two},
resulting in a fast and highly parallelizable model, reaching or exceeding
state-of-the-art accuracy on the rMD17, 3BPA, and AcAc benchmark tasks. We also
demonstrate that using higher order messages leads to an improved steepness of
the learning curves.
- Abstract(参考訳): 高速で正確な力場を作ることは、計算化学と材料科学における長年の課題である。
近年,いくつかの同変メッセージパッシングニューラルネットワーク(MPNN)が,他の手法を用いたモデルよりも精度が高いことが示されている。
しかし、ほとんどのMPNNは高い計算コストとスケーラビリティに悩まされている。
これらの制限は、MPNNが2体メッセージのみを通過させることで、レイヤー数とネットワークの表現性との間に直接関係があることから生じる。
本研究では,より高いボディオーダーメッセージを用いた新しい等価mpnnモデルであるmaceを紹介する。
特に,4ボディメッセージを用いることで,必要なメッセージパッシング回数を単に \emph{two} に減らし,rMD17,3BPA,AcAc のベンチマークタスクで最先端の精度に到達または超える高速かつ高並列化可能なモデルが得られることを示す。
また,高次メッセージを用いることで,学習曲線の急勾配が向上することを示す。
関連論文リスト
- CIN++: Enhancing Topological Message Passing [3.584867245855462]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めている。
表現力の重大な制限に直面し、長距離相互作用に苦しむとともに、高次構造やグループ相互作用をモデル化するための原則的なアプローチを欠いている。
我々は、CINで導入されたトポロジ的メッセージパッシングスキームの強化であるCIN++を提案する。
論文 参考訳(メタデータ) (2023-06-06T10:25:10Z) - Fast-SNN: Fast Spiking Neural Network by Converting Quantized ANN [38.18008827711246]
スパイキングニューラルネットワーク(SNN)は、計算とエネルギー効率の利点を示している。
離散スパイク関数のため、ディープSNNをトレーニングすることは依然として課題である。
本稿では低レイテンシで高い性能を実現する高速SNNを提案する。
論文 参考訳(メタデータ) (2023-05-31T14:04:41Z) - DRew: Dynamically Rewired Message Passing with Delay [7.474662887810221]
グラフの段階的な密度化を保証するために,レイヤ依存のリウィリングを行うフレームワークを提案する。
また,各層と相互距離に依存するノード間の接続をスキップする遅延機構を提案する。
いくつかの長距離タスクに対するアプローチを検証するとともに,グラフトランスフォーマーやマルチホップMPNNよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-13T22:47:40Z) - Provably Convergent Subgraph-wise Sampling for Fast GNN Training [63.530816506578674]
収束保証,すなわちローカルメッセージ補償(LMC)を用いた新しいサブグラフワイズサンプリング手法を提案する。
LMCは、後方パスのメッセージパスの定式化に基づいて、後方パスで破棄されたメッセージを検索する。
大規模ベンチマーク実験により、LCCは最先端のサブグラフワイドサンプリング法よりもはるかに高速であることが示された。
論文 参考訳(メタデータ) (2023-03-17T05:16:49Z) - QVIP: An ILP-based Formal Verification Approach for Quantized Neural
Networks [14.766917269393865]
量子化は、浮動小数点数に匹敵する精度でニューラルネットワークのサイズを減らすための有望な技術として登場した。
そこで本研究では,QNNに対する新しい,効率的な形式検証手法を提案する。
特に、QNNの検証問題を整数線形制約の解法に還元する符号化を初めて提案する。
論文 参考訳(メタデータ) (2022-12-10T03:00:29Z) - Towards Better Out-of-Distribution Generalization of Neural Algorithmic
Reasoning Tasks [51.8723187709964]
ニューラルネットワーク推論タスクのOOD一般化について検討する。
目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
論文 参考訳(メタデータ) (2022-11-01T18:33:20Z) - MFA: TDNN with Multi-scale Frequency-channel Attention for
Text-independent Speaker Verification with Short Utterances [94.70787497137854]
本稿では、畳み込みニューラルネットワークとTDNNからなる新しいデュアルパス設計により、話者を異なるスケールで特徴付けるマルチスケール周波数チャネルアテンション(MFA)を提案する。
我々は,提案したMFAをVoxCelebデータベース上で評価し,提案したMFAを用いたフレームワークが,パラメータや複雑性を低減しつつ,最先端のパフォーマンスを実現することを確認した。
論文 参考訳(メタデータ) (2022-02-03T14:57:05Z) - From Stars to Subgraphs: Uplifting Any GNN with Local Structure
Awareness [23.279464786779787]
私たちはMPNNをより表現力のあるものにするための一般的なフレームワークを導入します。
私たちのフレームワークは1&2-WLよりも強力で、3WLよりも強力です。
本手法は,いくつかのよく知られたグラフMLタスクに対して,新たな最先端性能を大きなマージンで設定する。
論文 参考訳(メタデータ) (2021-10-07T19:08:08Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳(メタデータ) (2021-06-10T10:18:23Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳(メタデータ) (2020-08-12T04:26:18Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳(メタデータ) (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。