論文の概要: The Importance of Being Scalable: Improving the Speed and Accuracy of Neural Network Interatomic Potentials Across Chemical Domains

• arxiv url: http://arxiv.org/abs/2410.24169v1
• Date: Thu, 31 Oct 2024 17:35:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:00:54.644851
• Title: The Importance of Being Scalable: Improving the Speed and Accuracy of Neural Network Interatomic Potentials Across Chemical Domains
• Title（参考訳）: スケーラブルであることの重要性: 化学ドメイン間のニューラルネットワーク間ポテンシャルの速度と精度の向上
• Authors: Eric Qu, Aditi S. Krishnapriyan,
• Abstract要約: ニューラルネットワーク原子間ポテンシャル(NNIP)のスケーリングに関する研究 NNIPは、ab initio量子力学計算の代理モデルとして機能する。 我々は、スケーリング用に設計されたNNIPアーキテクチャを開発する: 効率よくスケールされた意識的原子間ポテンシャル(EScAIP)
• 参考スコア（独自算出の注目度）: 4.340917737559795
• License:
• Abstract: Scaling has been critical in improving model performance and generalization in machine learning. It involves how a model's performance changes with increases in model size or input data, as well as how efficiently computational resources are utilized to support this growth. Despite successes in other areas, the study of scaling in Neural Network Interatomic Potentials (NNIPs) remains limited. NNIPs act as surrogate models for ab initio quantum mechanical calculations. The dominant paradigm here is to incorporate many physical domain constraints into the model, such as rotational equivariance. We contend that these complex constraints inhibit the scaling ability of NNIPs, and are likely to lead to performance plateaus in the long run. In this work, we take an alternative approach and start by systematically studying NNIP scaling strategies. Our findings indicate that scaling the model through attention mechanisms is efficient and improves model expressivity. These insights motivate us to develop an NNIP architecture designed for scalability: the Efficiently Scaled Attention Interatomic Potential (EScAIP). EScAIP leverages a multi-head self-attention formulation within graph neural networks, applying attention at the neighbor-level representations. Implemented with highly-optimized attention GPU kernels, EScAIP achieves substantial gains in efficiency--at least 10x faster inference, 5x less memory usage--compared to existing NNIPs. EScAIP also achieves state-of-the-art performance on a wide range of datasets including catalysts (OC20 and OC22), molecules (SPICE), and materials (MPTrj). We emphasize that our approach should be thought of as a philosophy rather than a specific model, representing a proof-of-concept for developing general-purpose NNIPs that achieve better expressivity through scaling, and continue to scale efficiently with increased computational resources and training data.
• Abstract（参考訳）: スケーリングは、機械学習におけるモデルパフォーマンスと一般化の改善に不可欠である。 モデルのサイズや入力データの増加とともに、モデルのパフォーマンスがどのように変化するか、また、この成長をサポートするために、いかに効率的に計算資源が使用されるかが関係します。 他の分野での成功にもかかわらず、ニューラルネットワーク原子間ポテンシャル(NNIP)のスケーリングの研究は依然として限られている。 NNIPは、ab initio量子力学計算の代理モデルとして機能する。 ここで支配的なパラダイムは、回転等式のような多くの物理的領域の制約をモデルに組み込むことである。 このような複雑な制約はNNIPのスケーリング能力を阻害するものであり、長期的にはパフォーマンスの低下につながる可能性が高い、と我々は主張する。 本研究は,NNIPスケーリング戦略を体系的に研究することから始める。 その結果,注意機構によるモデルのスケーリングは効率的であり,モデル表現性の向上が示唆された。 これらの洞察は、スケーラビリティのために設計されたNNIPアーキテクチャ(EScAIP:Efficiently Scaled Attention Interatomic Potential)を開発する動機となります。 EScAIPは、グラフニューラルネットワーク内のマルチヘッド自己アテンションの定式化を活用し、近隣のレベルの表現に注意を向ける。 高度に最適化されたGPUカーネルを実装したEScAIPは、既存のNNIPと比較して、少なくとも10倍高速な推論、メモリ使用量の5倍の効率向上を実現している。 EScAIPはまた、触媒(OC20とOC22)、分子(SPICE)、材料(MPTrj)を含む幅広いデータセット上で最先端のパフォーマンスを達成する。 我々は,本手法を特定のモデルではなく哲学として考えるべきであり,拡張による表現性の向上を実現する汎用NNIPの開発における概念実証であり,計算資源やトレーニングデータの増加によって効率よくスケールし続けることを強調する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• Data efficiency and extrapolation trends in neural network interatomic potentials [0.0]
  ニューラルネットワーク間ポテンシャル(NNIP)の一般化にアーキテクチャと最適化がどう影響するかを示す。 NNIPにおけるテストエラーはスケーリング関係に従っており、ノイズに対して堅牢であるが、高精度なシステムではMD安定性を予測できないことを示す。 我々の研究は、多くの共通NNIPの補間性能に対する深い学習の正当性を提供する。
  論文  参考訳（メタデータ） (2023-02-12T00:34:05Z)
• The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks [0.368986335765876]
  パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。 本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。 本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-08T16:25:20Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning [9.88508686848173]
  内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。 ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。 本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:20:16Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• ForceNet: A Graph Neural Network for Large-Scale Quantum Calculations [86.41674945012369]
  スケーラブルで表現力のあるグラフニューラルネットワークモデルであるForceNetを開発し、原子力を近似します。 提案したForceNetは、最先端の物理ベースのGNNよりも正確に原子力を予測することができる。
  論文  参考訳（メタデータ） (2021-03-02T03:09:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。