論文の概要: Quantized SO(3)-Equivariant Graph Neural Networks for Efficient Molecular Property Prediction
- arxiv url: http://arxiv.org/abs/2601.02213v1
- Date: Mon, 05 Jan 2026 15:36:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:23.250678
- Title: Quantized SO(3)-Equivariant Graph Neural Networks for Efficient Molecular Property Prediction
- Title(参考訳): 効率的な分子特性予測のための量子化SO(3)同変グラフニューラルネットワーク
- Authors: Haoyu Zhou, Ping Xue, Tianfan Fu, Hao Zhang,
- Abstract要約: 本稿では、低ビット量子化技術を用いてSO(3)-同変GNNを圧縮・加速することで、この問題に対処する。
QM9およびrMD17分子ベンチマークの実験は、我々の8ビットモデルが全精度ベースラインに匹敵するエネルギーと力の予測精度を達成することを示した。
提案手法により,2.37--2.73xの高速推論と4倍のモデルサイズを持つ実用化学応用において,対称性を意識したGNNの展開が可能となった。
- 参考スコア(独自算出の注目度): 12.753341915660073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying 3D graph neural networks (GNNs) that are equivariant to 3D rotations (the group SO(3)) on edge devices is challenging due to their high computational cost. This paper addresses the problem by compressing and accelerating an SO(3)-equivariant GNN using low-bit quantization techniques. Specifically, we introduce three innovations for quantized equivariant transformers: (1) a magnitude-direction decoupled quantization scheme that separately quantizes the norm and orientation of equivariant (vector) features, (2) a branch-separated quantization-aware training strategy that treats invariant and equivariant feature channels differently in an attention-based $SO(3)$-GNN, and (3) a robustness-enhancing attention normalization mechanism that stabilizes low-precision attention computations. Experiments on the QM9 and rMD17 molecular benchmarks demonstrate that our 8-bit models achieve accuracy on energy and force predictions comparable to full-precision baselines with markedly improved efficiency. We also conduct ablation studies to quantify the contribution of each component to maintain accuracy and equivariance under quantization, using the Local error of equivariance (LEE) metric. The proposed techniques enable the deployment of symmetry-aware GNNs in practical chemistry applications with 2.37--2.73x faster inference and 4x smaller model size, without sacrificing accuracy or physical symmetry.
- Abstract(参考訳): エッジデバイス上での3次元回転(SO(3)群)に等しい3次元グラフニューラルネットワーク(GNN)の展開は,計算コストが高いため困難である。
本稿では、低ビット量子化技術を用いてSO(3)-同変GNNを圧縮・加速することで、この問題に対処する。
具体的には、(1)等変(ベクトル)特徴のノルムと配向を別々に定量化する等級方向分離量子化スキーム、(2)低精度の注意計算を安定化する頑健性強化型注意正規化機構において、不変および等変特徴チャネルを別々に扱う分枝分別量子化対応訓練戦略、の3つの革新を紹介する。
QM9とrMD17分子ベンチマークの実験は、我々の8ビットモデルがエネルギーと力の予測の精度を、効率を大幅に向上した完全精度のベースラインに匹敵する精度で達成していることを示した。
また、各成分の寄与を定量化し、定量化の下での精度と等価性を維持するために、同値(LEE)の局所誤差を用いてアブレーション研究を行う。
提案手法は,2.37--2.73xの高速推論と4倍のモデルサイズを持つ実用化学応用において,精度や物理対称性を犠牲にすることなく,対称性を意識したGNNの展開を可能にする。
関連論文リスト
- Rotational Sampling: A Plug-and-Play Encoder for Rotation-Invariant 3D Molecular GNNs [5.558678875187018]
グラフニューラルネットワーク(GNN)は分子特性予測において顕著な成功を収めた。
従来のグラフ表現は、分子の固有の3次元空間構造を効果的に符号化するのに苦労する。
本稿では,回転サンプリングを利用した新しい3D符号化モジュールを提案する。
論文 参考訳(メタデータ) (2025-07-01T08:58:12Z) - Efficient Prediction of SO(3)-Equivariant Hamiltonian Matrices via SO(2) Local Frames [49.1851978742043]
我々は、電子構造計算を高速化するためにハミルトン行列を予測することを考える。
ハミルトン行列の対角線外ブロックとSO(2)局所フレームの関係から、QHNetV2を提案する。
論文 参考訳(メタデータ) (2025-06-11T05:04:29Z) - Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。
学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。
また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
論文 参考訳(メタデータ) (2025-02-14T03:26:57Z) - Efficient and Scalable Density Functional Theory Hamiltonian Prediction through Adaptive Sparsity [11.415146682472127]
ハミルトン行列予測は計算化学において重要である。
SPHNetは、適応SParsityをハミルトン予測に組み込んだ、効率的でスケーラブルな同変ネットワークである。
SPHNetは最先端の精度を実現し、既存のモデルよりも最大7倍のスピードアップを実現している。
論文 参考訳(メタデータ) (2025-02-03T09:04:47Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳(メタデータ) (2024-05-22T17:23:15Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳(メタデータ) (2021-11-29T12:24:02Z) - Mixed Precision of Quantization of Transformer Language Models for
Speech Recognition [67.95996816744251]
トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。
現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。
最適局所精度設定は2つの手法を用いて自動的に学習される。
Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
論文 参考訳(メタデータ) (2021-11-29T09:57:00Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳(メタデータ) (2021-10-26T14:26:25Z) - Group Convolutional Neural Networks Improve Quantum State Accuracy [1.52292571922932]
特定の対称性を持つ量子状態に対して、最大表現モデルを作成する方法を示す。
我々は,グループ同変畳み込みネットワーク(G-CNN) citecohen2016groupを実装し,メモリ使用量を増やすことなく,性能改善を実現することを実証した。
論文 参考訳(メタデータ) (2021-04-11T19:45:10Z) - AUSN: Approximately Uniform Quantization by Adaptively Superimposing
Non-uniform Distribution for Deep Neural Networks [0.7378164273177589]
既存の一様および非一様量子化法は、表現範囲と表現解像度の間に固有の矛盾を示す。
重みとアクティベーションを定量化する新しい量子化法を提案する。
鍵となる考え方は、複数の非一様量子化値、すなわち AUSN を適応的に重ね合わせることで、ユニフォーム量子化を近似することである。
論文 参考訳(メタデータ) (2020-07-08T05:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。