論文の概要: Accelerating SO(2)-Equivariant Materials Models through Low-Precision Emulation

• arxiv url: http://arxiv.org/abs/2610.35164v1
• Date: Mon, 26 Oct 2026 10:27:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.827744
• Title: Accelerating SO(2)-Equivariant Materials Models through Low-Precision Emulation
• Title（参考訳）: 低精度エミュレーションによるSO(2)-同変物質モデルの加速
• Abstract要約: GNN の 'SO(2)-equivariant' 処理層を高速化するために, 整数大崎スキームの下での「エミュレートされた」低精度演算を導入する。 私たちのフレームワークであるFlashSO(2)は、スループット、精度、メモリフットプリントにおいて、最も正確なネイティブな低精度MMUフォーマットであるTF32より優れています。
• 参考スコア（独自算出の注目度）: 71.9141151643915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rotationally equivariant architectures improve the physical fidelity of machine-learned (ML) universal materials models based on graph neural networks (GNNs). However, their scalability is limited by the use of non-trivial, high-precision tensor operations during both training and inference. Adopting the reduced-precision formats of matrix multiplication units (MMUs), e.g., FP8 instead of FP32, provides massive increases in throughput, up to 30x (60x) on NVIDIA Hopper (Blackwell) GPUs, but may lead to drastic loss of accuracy. Here, we introduce tailored 'emulated' low-precision operations under the integer Ozaki scheme to accelerate the 'SO(2)-equivariant' processing layers of GNNs, which dominate the runtime of (1) many state-of-the-art ML interatomic potentials (MLIPs) and (2) most universal ML Hamiltonian (MLH) models. Our framework, FlashSO(2), outperforms TF32, the most accurate native low-precision MMU format, in throughput, accuracy, and memory footprint at once. At the SO(2) layer level, it reaches 40x (7x) the throughput of MALOQ's (UMA's) reference implementation, an MLH (MLIP) model, sustaining up to 236 (232) effective Tflop/s on an NVIDIA GH200, 3.5x the FP32 peak. At the model level, FlashSO(2) helps train MALOQ 3.9x faster than its pure-FP32 version while reducing peak memory by 58% at no loss in accuracy. In molecular dynamics simulations with UMA, the speedup factor is 3.3x, and the peak memory is reduced by 51%. FlashSO(2) thus pushes the speed-accuracy Pareto frontier of equivariant materials models beyond the native low-precision formats and substantially lowers the resources required to exploit their scaling laws.
• Abstract（参考訳）: 回転同変アーキテクチャは、グラフニューラルネットワーク(GNN)に基づく機械学習(ML)ユニバーサルマテリアルモデルの物理的忠実性を改善する。 しかし、そのスケーラビリティは、トレーニングと推論の両方において、非自明で高精度なテンソル演算を使用することによって制限される。 FP32の代わりにFP8などの行列乗算ユニット(MMU)の縮小精度フォーマットを採用すると、NVIDIA Hopper(Blackwell) GPUの30倍(60倍)までのスループットが大幅に向上するが、精度の大幅な低下につながる可能性がある。 本稿では,(1)最先端ML間ポテンシャル(MLIP)と(2)汎用MLハミルトニアンモデル(MLH)のランタイムを支配下に置くGNNの「SO(2)-同変」処理層を高速化するために,整数大崎スキームの下での「エミュレートされた」低精度演算を導入する。 私たちのフレームワークであるFlashSO(2)は、スループット、精度、メモリフットプリントにおいて、最も正確なネイティブな低精度MMUフォーマットであるTF32より優れています。 SO(2)層レベルでは、MALOQ(UMA)参照実装、MLH(MLIP)モデルのスループット40倍(7倍)に達し、NVIDIA GH200、3.5倍のFP32ピーク上で236倍(232)有効Tflop/sを持続する。 モデルレベルでは、FlashSO(2)は純粋なFP32バージョンよりも3.9倍高速でMALOQをトレーニングし、ピークメモリを58%削減する。 UMAを用いた分子動力学シミュレーションでは、スピードアップ係数は3.3倍となり、ピークメモリは51%減少する。 これにより、FlashSO(2)は、原産地の低精度フォーマットを超えて、同変物質モデルの速度精度のParetoフロンティアを推し進め、スケーリング法則を利用するために必要なリソースを大幅に削減する。

関連論文リスト

• Training an MoE LLM in MXFP4: How We Closed the Gap to BF16 [13.352930713733691]
  サブ8ビット演算における大規模言語モデル(LLM)のトレーニングは、メモリ帯域幅と計算スループットを大幅に向上させる。 しかし、FP4フォーマットは、未修正のままで最適化を不安定にするのに十分な量子化エラーをもたらす。 GPT-OSS-20BのオープンソーストレーニングレシピであるALTOをMXFP4マイクロスケーリングフォーマットでSmall MoE Trainingベンチマークで紹介する。
  論文  参考訳（メタデータ） (2026-10-23T06:40:21Z)
• LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
  拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。 我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。 23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
  論文  参考訳（メタデータ） (2026-08-04T10:53:02Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
  機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。 この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
  論文  参考訳（メタデータ） (2025-10-23T14:02:34Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Temperature Distribution Prediction in Laser Powder Bed Fusion using Transferable and Scalable Graph Neural Networks [0.0]
  本研究では, レーザ粉体融合プロセスにおける熱力学のシミュレーションにグラフニューラルネットワーク(GNN)を用いた新しい予測モデルを提案する。 提案モデルでは,L-PBFにおける熱伝達過程の複雑さを計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-07-18T18:14:47Z)
• FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications with High-Performance Computing [10.47214968497857]
  本稿では,低ランク構造を利用した大規模言語モデルの事前学習と微調整を行う高性能手法を提案する。 本手法は精度低下を伴わずに保持できる1.3Xの高速化と2.64Xのモデル圧縮比を実現する。 ファインタニングでは,一般タスクと財務タスクの平均精度が6.3%,24.0%向上した。
  論文  参考訳（メタデータ） (2024-02-21T05:03:17Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。