論文の概要: Beyond Adam: SOAP and Muon for Faster, Label-Efficient Training of Machine Learning Interatomic Potentials

• arxiv url: http://arxiv.org/abs/2607.02499v1
• Date: Thu, 02 Jul 2026 17:57:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.961338
• Title: Beyond Adam: SOAP and Muon for Faster, Label-Efficient Training of Machine Learning Interatomic Potentials
• Title（参考訳）: Adam氏:SOAPとMuonはより速く、ラベル効率の良い機械学習の原子間ポテンシャルのトレーニング
• Abstract要約: 我々は、NequIPとAllegro MLIPモデルをトレーニングするために、最近提案されたMuon、SOAP、ハイブリッドSOAP-Muonを含むマトリックス構造化のクラスを実装し、比較する。 これらの結果は、収束速度と最終的な精度の両方において、Adamを著しく上回ります。
• 参考スコア（独自算出の注目度）: 0.5714512533033075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning interatomic potentials (MLIPs) have become a hallmark of AI for scientific simulation. While efforts on new architectures and datasets have led to increasingly accurate and general models, the choice of optimizer for training has largely remained unexplored, defaulting to Adam and its variants in the community. Here, we implement and systematically compare a class of recently proposed matrix-structured optimizers, including Muon, SOAP, and the hybrid SOAP-Muon, for training NequIP and Allegro MLIP models. We find that these optimizers can substantially outperform Adam in both convergence speed and final accuracy. SOAP and SOAP-Muon emerge as robust and consistently strong methods, while Muon only provides partial gains relative to Adam. The improvements are particularly pronounced under partial force supervision. Our results indicate that optimizer choice is an overlooked yet impactful design axis for MLIPs.
• Abstract（参考訳）: 機械学習の原子間ポテンシャル(MLIP)は、科学シミュレーションにおけるAIの目印となっている。 新しいアーキテクチャとデータセットへの取り組みは、ますます正確で一般的なモデルに繋がったが、トレーニングのためのオプティマイザの選択は、Adamとそのコミュニティの亜種にデフォルトとして、ほとんど探索されていない。 ここでは、NequIPとAllegro MLIPモデルをトレーニングするために、最近提案されたMuon、SOAP、ハイブリッドSOAP-Muonを含む行列構造最適化のクラスを実装し、体系的に比較する。 これらのオプティマイザは、収束速度と最終的な精度の両方でAdamを著しく上回ります。 SOAPとSOAP-Muonは堅牢で一貫して強力なメソッドとして登場しますが、MulenはAdamに対して部分的な利益しか提供しません。 この改良は、特に部分的な部隊の監督下で顕著である。 結果から,最適化の選択はMLIPの設計軸として見過ごされがちであることがわかった。

関連論文リスト

• SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales [48.03325171473355]
  Muon や SOAP のような高次の LLM は、AdamW よりも高速な収束を提供するが、計算コストと数値安定性の課題は、大規模に採用されることが限られている。 我々は,大規模LLM事前訓練体制の実践的課題を克服するために,事前条件付き手法を適応し,強化する。
  論文  参考訳（メタデータ） (2026-07-13T21:47:08Z)
• Benchmarking Optimizers for MLPs in Tabular Deep Learning [26.245361419936135]
  AdamWは、表層深層学習モデルのトレーニングテクニックである。 標準教師付き学習環境において、トレーニングベースモデルのための17のデータセットに15のテクニックをベンチマークする。 私たちの主な発見は、ムーンが一貫してAdamWより優れており、それゆえ、実践者や研究者にとって強力で実践的な選択と見なされるべきである、ということです。
  論文  参考訳（メタデータ） (2026-04-16T17:57:02Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Muon Outperforms Adam in Tail-End Associative Memory Learning [118.98991042050532]
  機能埋め込みにかかわらず,Muonはクラス間のバランスの取れた学習を一貫して達成している。 我々の経験的観察と理論的分析により、ムオンの核となる利点が明らかとなり、その更新規則は線形連想記憶の外積構造と一致している。
  論文  参考訳（メタデータ） (2025-09-30T10:04:08Z)
• Conda: Column-Normalized Adam for Training Large Language Models Faster [70.66067959375748]
  Column-Normalized Adam (Conda)は、大規模言語モデル(LLM)に対する新しいアプローチである。 Condaはサブスペースに更新を投影し、投影された勾配に基づいてカラムワイズ第2モーメント正規化を適用する。 LLaMAとGPT-2シリーズの実験では、コンダはトレーニング前のAdamW、Muon、その他のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-29T02:58:19Z)
• AdamS: Momentum Itself Can Be A Normalizer for LLM Pretraining and Post-training [22.58304858379219]
  我々は,大規模言語モデル(LLM)の事前学習とポストトレーニングのための,Adamの簡易かつ効果的な代替手段であるAdamSを紹介した。 新たな分母、すなわち運動量と現在の勾配の重み付き和の根を利用することにより、AdamSは第二モーメント推定の必要性を排除している。 AdamSは効率が良く、SGDのメモリと計算フットプリントと運動量とを一致させ、優れた最適化性能を提供する。
  論文  参考訳（メタデータ） (2025-05-22T08:16:48Z)
• Pangu Ultra MoE: How to Train Your Big MoE on Ascend NPUs [111.69640966866059]
  ミキチャー・オブ・エキスパート(MoE)と1兆近いパラメータを持つ疎大言語モデル(LLM)が、最も有能な言語モデルの領域を支配している。 本稿では,Ascend NPU上でそのようなスケールを利用するレシピを明らかにすることを目的としている。 主な目的は、動的スパースモデル構造下でのコンピューティングリソースのより良い使用と、実際のハードウェアで期待されるパフォーマンス向上の実現である。
  論文  参考訳（メタデータ） (2025-05-07T15:46:36Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• CAdam: Confidence-Based Optimization for Online Learning [41.022196390765714]
  更新を決定する前に,各パラメータ次元の運動量と勾配の整合性を評価する信頼度に基づく最適化戦略であるCAdamを導入する。 CAdamはAdamと比較してモデル性能を大幅に向上させ、システム全体の商品量(GMV)を大幅に増加させた。 大規模なA/Bテストでは、CAdamはAdamと比較してモデル性能を大幅に向上させ、システム全体の商品量(GMV)を大幅に増加させた。
  論文  参考訳（メタデータ） (2024-11-29T12:00:27Z)
• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.67982828148859]
  深層ニューラルネットワークのための統合トレーニングフレームワークを提案する。 我々は,事前条件付き勾配最適化を利用するMARSの3つの例を紹介する。 その結果,MARSの実装はAdamより一貫して優れていた。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• AdamL: A fast adaptive gradient method incorporating loss function [1.6025685183216696]
  本稿では,Adamの新たな変種であるAdamLを提案する。 我々は,Adam,EAdam,AdaBeliefと比較して,AdamLが最速収束あるいは最小目標関数値を達成することを示す。 バニラ畳み込みニューラルネットワークの場合、AdamLは他のAdamの変種とは違い、トレーニングの後半段階では学習率を手動で調整する必要がなくなる。
  論文  参考訳（メタデータ） (2023-12-23T16:32:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。