論文の概要: Preserving Continuous Symmetry in Discrete Spaces: Geometric-Aware Quantization for SO(3)-Equivariant GNNs
- arxiv url: http://arxiv.org/abs/2603.05343v1
- Date: Thu, 05 Mar 2026 16:20:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 22:06:11.316778
- Title: Preserving Continuous Symmetry in Discrete Spaces: Geometric-Aware Quantization for SO(3)-Equivariant GNNs
- Title（参考訳）: 離散空間における連続対称性の保存:SO(3)-等変GNNの幾何学的量子化
- Authors: Haoyu Zhou, Ping Xue, Hao Zhang, Tianfan Fu,
- Abstract要約: 等変モデルを圧縮・加速するGeometric-Aware Quantization (GAQ) フレームワークを提案する。
消費者向けハードウェアでは、GAQは2.39倍の推論スピードアップと4倍のメモリ削減を実現し、安定したエネルギー保存分子動力学シミュレーションを可能にする。
- 参考スコア（独自算出の注目度）: 12.753341915660073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Equivariant Graph Neural Networks (GNNs) are essential for physically consistent molecular simulations but suffer from high computational costs and memory bottlenecks, especially with high-order representations. While low-bit quantization offers a solution, applying it naively to rotation-sensitive features destroys the SO(3)-equivariant structure, leading to significant errors and violations of conservation laws. To address this issue, in this work, we propose a Geometric-Aware Quantization (GAQ) framework that compresses and accelerates equivariant models while rigorously preserving continuous symmetry in discrete spaces. Our approach introduces three key contributions: (1) a Magnitude-Direction Decoupled Quantization (MDDQ) scheme that separates invariant lengths from equivariant orientations to maintain geometric fidelity; (2) a symmetry-aware training strategy that treats scalar and vector features with distinct quantization schedules; and (3) a robust attention normalization mechanism to stabilize gradients in low-bit regimes. Experiments on the rMD17 benchmark demonstrate that our W4A8 models match the accuracy of FP32 baselines (9.31 meV vs. 23.20 meV) while reducing Local Equivariance Error (LEE) by over 30x compared to naive quantization. On consumer hardware, GAQ achieves 2.39x inference speedup and 4x memory reduction, enabling stable, energy-conserving molecular dynamics simulations for nanosecond timescales.
- Abstract（参考訳）: 等変グラフニューラルネットワーク(GNN)は物理的に一貫した分子シミュレーションには不可欠であるが、特に高次表現では高い計算コストとメモリボトルネックに悩まされている。
低ビット量子化は解を提供するが、回転に敏感な特徴に鼻で適用するとSO(3)-同変構造が破壊され、保存法則の重大な誤りや違反を引き起こす。
この問題に対処するため,離散空間における連続対称性を厳密に保ちながら同変モデルを圧縮・加速するGeometric-Aware Quantization (GAQ) フレームワークを提案する。
提案手法では,(1)等変方向と等変方向を分離して幾何学的忠実性を維持するMDDQ(Magnitude-Direction Decoupled Quantization)スキーム,(2)異なる量子化スケジュールでスカラー特徴とベクトル特徴を扱い,(3)低ビット状態の勾配を安定化するための頑健な注意正規化機構を導入する。
rMD17ベンチマークの実験では、我々のW4A8モデルはFP32ベースライン(9.31 meV vs. 23.20 meV)の精度と一致し、局所等分散誤差(LEE)は単純量子化と比較して30倍以上削減されている。
消費者向けハードウェアでは、GAQは2.39倍の推論スピードアップと4倍のメモリ削減を実現し、ナノ秒の時間スケールで安定したエネルギー保存分子動力学シミュレーションを可能にする。
関連論文リスト
- Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation [56.361076943802594]
CanonFlowは、挑戦的なGEOM-DRUGデータセット上で最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-02-16T18:58:55Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - HAS-VQ: Hessian-Adaptive Sparse Vector Quantization for High-Fidelity LLM Compression [0.0]
HAS-VQ (Hessian-Adaptive Sparse Vec-tor Quantization) は,高感度のアウトレーヤをバルク重量分布から厳密に分離する圧縮フレームワークである。
我々は, SmolLM2-1.7B上のHAS-VQを評価し, 2つの異なる優越性を証明した。
論文 参考訳（メタデータ） (2026-01-11T15:35:10Z) - Quantized SO(3)-Equivariant Graph Neural Networks for Efficient Molecular Property Prediction [12.753341915660073]
本稿では、低ビット量子化技術を用いてSO(3)-同変GNNを圧縮・加速することで、この問題に対処する。
QM9およびrMD17分子ベンチマークの実験は、我々の8ビットモデルが全精度ベースラインに匹敵するエネルギーと力の予測精度を達成することを示した。
提案手法により,2.37--2.73xの高速推論と4倍のモデルサイズを持つ実用化学応用において,対称性を意識したGNNの展開が可能となった。
論文 参考訳（メタデータ） (2026-01-05T15:36:04Z) - Breaking the Memory Wall: Exact Analytical Differentiation via Tiled Operator-Space Evolution [3.551701030393209]
位相勾配流(PGF)は、状態空間多様体で直接操作することで正確な解析微分を計算するフレームワークである。
提案手法は,最大VRAMの94%削減,スループットの23倍のO(1)メモリの複雑性を実現する。
我々の研究は1つのGPU上で染色体スケールの感度解析を可能にし、理論的な無限コンテキストモデルと実用的なハードウェアの限界のギャップを埋める。
論文 参考訳（メタデータ） (2025-12-28T20:27:58Z) - Adaptive Mesh-Quantization for Neural PDE Solvers [51.26961483962011]
グラフニューラルネットワークは複雑なジオメトリや境界条件に必要な不規則なメッシュを処理できるが、それでもすべてのノードで一様計算処理を適用できる。
適応メッシュ量子化(Adaptive Mesh Quantization): メッシュノード,エッジ,クラスタ特徴間の空間適応量子化であり,量子化モデルで使用されるビット幅を動的に調整する。
我々は,MP-PDEとGraphViTという2つの最先端モデルと統合して,複数のタスクのパフォーマンスを評価することで,フレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2025-11-23T14:47:24Z) - Quantized Visual Geometry Grounded Transformer [67.15451442018258]
本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。
球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。
また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
論文 参考訳（メタデータ） (2025-09-25T15:17:11Z) - MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
論文 参考訳（メタデータ） (2025-07-06T08:16:50Z) - Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。
学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。
また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
論文 参考訳（メタデータ） (2025-02-14T03:26:57Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。