論文の概要: Generalizing Denoising to Non-Equilibrium Structures Improves Equivariant Force Fields

• arxiv url: http://arxiv.org/abs/2403.09549v2
• Date: Mon, 22 Jul 2024 09:22:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 02:21:06.188886
• Title: Generalizing Denoising to Non-Equilibrium Structures Improves Equivariant Force Fields
• Title（参考訳）: 非平衡構造の一般化による等変力場の改善
• Authors: Yi-Lun Liao, Tess Smidt, Muhammed Shuaibi, Abhishek Das,
• Abstract要約: 本稿では,非平衡構造(DeNS)を補助的タスクとして活用し,トレーニングデータの活用と性能向上を提案する。 DeNSを用いたトレーニングでは,まず3次元座標にノイズを加え,そのノイズを予測することで3次元構造を破損させた。 OC20,OC22,MD17データセット上で,DeNSを用いた同変ネットワークのトレーニングの有効性を検討した。
• 参考スコア（独自算出の注目度）: 10.250803377817572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the interactions of atoms such as forces in 3D atomistic systems is fundamental to many applications like molecular dynamics and catalyst design. However, simulating these interactions requires compute-intensive ab initio calculations and thus results in limited data for training neural networks. In this paper, we propose to use denoising non-equilibrium structures (DeNS) as an auxiliary task to better leverage training data and improve performance. For training with DeNS, we first corrupt a 3D structure by adding noise to its 3D coordinates and then predict the noise. Different from previous works on denoising, which are limited to equilibrium structures, the proposed method generalizes denoising to a much larger set of non-equilibrium structures. The main difference is that a non-equilibrium structure does not correspond to local energy minima and has non-zero forces, and therefore it can have many possible atomic positions compared to an equilibrium structure. This makes denoising non-equilibrium structures an ill-posed problem since the target of denoising is not uniquely defined. Our key insight is to additionally encode the forces of the original non-equilibrium structure to specify which non-equilibrium structure we are denoising. Concretely, given a corrupted non-equilibrium structure and the forces of the original one, we predict the non-equilibrium structure satisfying the input forces instead of any arbitrary structures. Since DeNS requires encoding forces, DeNS favors equivariant networks, which can easily incorporate forces and other higher-order tensors in node embeddings. We study the effectiveness of training equivariant networks with DeNS on OC20, OC22 and MD17 datasets and demonstrate that DeNS can achieve new state-of-the-art results on OC20 and OC22 and significantly improve training efficiency on MD17.
• Abstract（参考訳）: 3次元原子論システムにおける力などの原子の相互作用を理解することは、分子動力学や触媒設計といった多くの応用に基本的である。 しかし、これらの相互作用をシミュレートするには、計算集約的なab initio計算が必要であり、結果として、ニューラルネットワークをトレーニングするための限られたデータが得られる。 本稿では,非平衡構造(DeNS)を補助的タスクとして用いて,トレーニングデータをより活用し,性能を向上させることを提案する。 DeNSを用いたトレーニングでは,まず3次元座標にノイズを加え,そのノイズを予測することで3次元構造を破損させた。 従来の非平衡構造に制限されたデノナイジングの研究とは異なり、提案手法はより大きな非平衡構造の集合にデノナイジングを一般化する。 主な違いは、非平衡構造は局所的なエネルギー最小値に対応せず、非ゼロの力を持ち、したがって平衡構造と比較して多くの原子位置を持つことができることである。 これにより、非平衡構造をデノナイジングの対象が一意に定義されていないため、デノナイジングが不適切な問題となる。 我々の重要な洞察は、元の非平衡構造の力を付加的にエンコードして、どの非平衡構造がどの非平衡構造かを特定することである。 具体的には、破損した非平衡構造と元の非平衡構造の力を考えると、任意の構造ではなく入力力を満たす非平衡構造を予測する。 DeNSはエンコーディング力を必要とするため、DNSはノード埋め込みに力やその他の高次テンソルを容易に組み込むことができる同変ネットワークを好んでいる。 我々は, OC20, OC22, MD17データセット上で, DeNSと等価ネットワークのトレーニングの有効性について検討し, OC20, OC22におけるDeNSの新たな最先端化を実現し, MD17におけるトレーニング効率を大幅に向上できることを実証した。

関連論文リスト

• Energy-based Epistemic Uncertainty for Graph Neural Networks [47.52218144839666]
  高品質な不確実性推定を提供するエネルギーベースモデル(EBM)を提案する。 我々は、エネルギー関数を正則化することにより、データ空間の可積分密度を確実に誘導する。 我々のフレームワークは、様々な分散シフトに敏感な事前学習GNNに適用可能な、シンプルで効果的なポストホック手法である。
  論文  参考訳（メタデータ） (2024-06-06T13:13:29Z)
• Molecular relaxation by reverse diffusion with time step prediction [13.834005606387706]
  モレレッドは、非平衡構造の平衡状態を見つけるための概念的に新しく純粋に統計的アプローチである。 非常に小さく、計算的に安価で、ラベルなしの平衡構造からなるデータセットで訓練されている。 我々は、MoreRedを古典的な力場、平衡データと非平衡データの大規模なデータセットに基づいて訓練された同変ニューラルネットワーク力場、および半経験的強結合モデルと比較した。
  論文  参考訳（メタデータ） (2024-04-16T22:15:52Z)
• May the Force be with You: Unified Force-Centric Pre-Training for 3D Molecular Conformations [19.273404278711794]
  平衡データとオフ平衡データの両方をカバーする3次元分子配座のための力中心事前学習モデルを提案する。 平衡データに対しては, ゼロフォース正則化と強制的復調法を導入し, 近似平衡力について検討する。 実験により, 事前学習目標により, 未訓練の同変変変圧器モデルと比較して, 力の精度を約3倍に向上することを示した。
  論文  参考訳（メタデータ） (2023-08-24T01:54:02Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
  本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。 近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
  論文  参考訳（メタデータ） (2022-05-31T22:28:34Z)
• On Robust Classification using Contractive Hamiltonian Neural ODEs [8.049462923912902]
  我々は、ニューラルネットワーク(NODE)の堅牢性を改善するために収縮理論を用いる。 NODEでは、入力データは力学系の初期状態に対応する。 契約型ハミルトニアン・ヌード(CH-ヌード)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-03-22T15:16:36Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks [3.2242513084255036]
  QUINOSは、逆雑音感度(ANS)に基づく層特異的ハイブリッド量子化を行うフレームワークである CIFAR10, CIFAR100データセットを用いた実験により, QUINOSは対向ロバスト性の観点から, 均一に量子化された8ビット精度のベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2020-04-22T15:56:31Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。