論文の概要: Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations
- arxiv url: http://arxiv.org/abs/2507.01131v2
- Date: Wed, 29 Oct 2025 03:31:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-30 18:06:01.861372
- Title: Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations
- Title（参考訳）: 高速機械学習原子間ポテンシャル計算のためのテンソル分解ネットワーク
- Authors: Yuchao Lin, Cong Fu, Zachary Krueger, Haiyang Yu, Maho Nakata, Jianwen Xie, Emine Kucukbenli, Xiaofeng Qian, Shuiwang Ji,
- Abstract要約: テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。
1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。
その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
- 参考スコア（独自算出の注目度）: 48.46721044282335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: $\rm{SO}(3)$-equivariant networks are the dominant models for machine learning interatomic potentials (MLIPs). The key operation of such networks is the Clebsch-Gordan (CG) tensor product, which is computationally expensive. To accelerate the computation, we develop tensor decomposition networks (TDNs) as a class of approximately equivariant networks in which CG tensor products are replaced by low-rank tensor decompositions, such as the CANDECOMP/PARAFAC (CP) decomposition. With the CP decomposition, we prove (i) a uniform bound on the induced error of $\rm{SO}(3)$-equivariance, and (ii) the universality of approximating any equivariant bilinear map. To further reduce the number of parameters, we propose path-weight sharing that ties all multiplicity-space weights across the $\mathcal{O}(L^3)$ CG paths into a single path without compromising equivariance, where $L$ is the maximum angular degree. The resulting layer acts as a plug-and-play replacement for tensor products in existing networks, and the computational complexity of tensor products is reduced from $\mathcal{O}(L^6)$ to $\mathcal{O}(L^4)$. We evaluate TDNs on PubChemQCR, a newly curated molecular relaxation dataset containing 105 million DFT-calculated snapshots. We also use existing datasets, including OC20, and OC22. Results show that TDNs achieve competitive performance with dramatic speedup in computations. Our code is publicly available as part of the AIRS library (\href{https://github.com/divelab/AIRS/tree/main/OpenMol/TDN}{https://github.com/divelab/AIRS/}).
- Abstract（参考訳）: $\rm{SO}(3)$-equivariant Networkは機械学習の原子間ポテンシャル(MLIP)の主要なモデルである。
このようなネットワークの鍵となる操作は、計算コストの高いClebsch-Gordanテンソル積である。
計算を高速化するために、CGテンソル積をCANDECOMP/PARAFAC(CP)分解のような低ランクテンソル分解に置き換える、ほぼ同変ネットワークのクラスとしてテンソル分解ネットワーク(TDN)を開発する。
CP分解により、我々は証明する。
(i)$\rm{SO}(3)$-equivarianceの誘導誤差に束縛された一様
(ii)任意の同変双線型写像を近似する普遍性。
さらにパラメータの数を減らすために、$\mathcal{O}(L^3)$ CGパスを1つのパスに結び付けるパスウェイト共有を提案し、そこでは$L$が最大角度である。
結果として生じる層は、既存のネットワークにおけるテンソル積のプラグアンドプレイ置換として機能し、テンソル積の計算複雑性は$\mathcal{O}(L^6)$から$\mathcal{O}(L^4)$に減少する。
1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。
OC20やOC22など、既存のデータセットも使用しています。
その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
私たちのコードはAIRSライブラリ(\href{https://github.com/divelab/AIRS/tree/main/OpenMol/TDN}{https://github.com/divelab/AIRS/})の一部として公開されています。
関連論文リスト
- TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。
SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
論文 参考訳（メタデータ） (2025-01-04T20:51:51Z) - Kronecker-Factored Approximate Curvature for Modern Neural Network
Architectures [85.76673783330334]
線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている
重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。
グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
論文 参考訳（メタデータ） (2023-11-01T16:37:00Z) - Machine learning with tree tensor networks, CP rank constraints, and tensor dropout [3.38220960870904]
CPランク制約とテンソルドロップアウトを備えたツリーテンソルネットワーク(TTN)が機械学習においてどのように使用できるかを示す。
分岐比が$b=4$の低ランクTTN分類器は、低コストでテストセット精度90.3%に達する。
パラメータの数を減らし、より自由に調整し、オーバーフィッティングを制御し、計算特性を改善し、コストを削減できる。
論文 参考訳（メタデータ） (2023-05-30T22:22:24Z) - Reducing SO(3) Convolutions to SO(2) for Efficient Equivariant GNNs [3.1618838742094457]
等変畳み込みは高次テンソルを使用すると計算複雑性が著しく増加する。
大規模なOC-20データセットとOC-22データセットの最先端結果が得られる同変畳み込みに対する我々の新しいアプローチを利用したグラフニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-02-07T18:16:13Z) - Average-Case Complexity of Tensor Decomposition for Low-Degree
Polynomials [93.59919600451487]
多くの統計的推論タスクにおいて「統計計算ギャップ」が発生する。
1つの成分が他の成分よりもわずかに大きいランダムオーダー3分解モデルを考える。
テンソルエントリは$ll n3/2$のとき最大成分を正確に推定できるが、$rgg n3/2$のとき失敗する。
論文 参考訳（メタデータ） (2022-11-10T00:40:37Z) - Latent Matrices for Tensor Network Decomposition and to Tensor
Completion [8.301418317685906]
テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。
LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。
実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
論文 参考訳（メタデータ） (2022-10-07T08:19:50Z) - DeepTensor: Low-Rank Tensor Decomposition with Deep Network Priors [45.183204988990916]
DeepTensor(ディープテンソル)は、行列とテンソルの低ランク分解のためのフレームワークである。
3次元MRIトモグラフィー、画像分類など、様々な実世界の応用について検討する。
論文 参考訳（メタデータ） (2022-04-07T01:09:58Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳（メタデータ） (2020-10-22T00:32:12Z) - Kronecker CP Decomposition with Fast Multiplication for Compressing RNNs [11.01184134911405]
リカレントニューラルネットワーク(RNN)は、自然言語処理やビデオ認識などのシーケンシャルデータに指向するタスクにおいて強力である。
本稿では,Kronecker CANDECOMP/PARAFAC(KCP)分解に基づく圧縮RNNについて考察する。
論文 参考訳（メタデータ） (2020-08-21T07:29:45Z) - On the Global Convergence of Training Deep Linear ResNets [104.76256863926629]
我々は、$L$-hidden-layer linear residual network(ResNets)のトレーニングのための勾配降下(GD)と勾配降下(SGD)の収束について検討する。
入力層と出力層で一定の線形変換を施したディープ残差ネットワークのトレーニングを行う場合,GDとSGDは共に,トレーニング損失の最小限に収束できることを示す。
論文 参考訳（メタデータ） (2020-03-02T18:34:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。