論文の概要: Physical Muon: Orthogonalization as an Equilibrium Computation

• arxiv url: http://arxiv.org/abs/2609.37525v1
• Date: Tue, 29 Sep 2026 13:13:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.535598
• Title: Physical Muon: Orthogonalization as an Equilibrium Computation
• Title（参考訳）: 物理ミューオン:平衡計算としての直交化
• Abstract要約: 物理ニューラルネットワークとアナログインメモリコンピューティングは、ニューラルネットワークトレーニングのエネルギーコストを削減できる。 物理的ミューオンはトランスフォーマーに苦しむSGDを置き換えるが、アダムファミリーはアナログバイアスに対して不安定である。 回路シミュレーションはさらに流れのダイナミクスを再現し、同等の訓練行動をもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physical neural networks and analog in-memory computing could reduce the energy cost of neural network training. Realizing this potential, however, requires optimizers that combine effective learning with physical implementability. SGD fits local analog updates but struggles on transformers, while Adam family is unstable against analog bias. Muon offers strong training performance, but its Newton--Schulz orthogonalization relies on dense matrix-matrix products. To address this obstacle, we introduce Physical Muon, which computes the orthogonalization as the equilibrium of a continuous-time flow. Random probes approximate the flow using matrix-vector products, reciprocal reads, and local rank-1 writes. To test whether this replacement preserves training performance, we evaluate it on a 10.95M-parameter transformer. The dense flow's mean validation cross-entropy is 0.0085 above Newton--Schulz across nine seeds per method; the probe implementation is 0.0188 above the control across two seeds. Circuit simulations further reproduce the flow dynamics and yield comparable training behavior.
• Abstract（参考訳）: 物理ニューラルネットワークとアナログインメモリコンピューティングは、ニューラルネットワークトレーニングのエネルギーコストを削減できる。 しかし、この可能性を実現するには、効果的な学習と物理的な実装性を組み合わせた最適化が必要である。 SGDは局所的なアナログ更新に適合するが、トランスフォーマーに苦しむ一方、Adam familyはアナログバイアスに対して不安定である。 ミュオンは強い訓練性能を提供するが、ニュートン-シュルツ直交化は密度行列行列行列積に依存する。 この障害に対処するために、連続時間流の平衡として直交化を計算する物理ミューオンを導入する。 ランダムプローブは行列ベクトル積、相互読み取り、局所ランク1書き込みを用いてフローを近似する。 この代替品がトレーニング性能を保つかどうかを検証するため,10.95Mパラメータートランスを用いて評価を行った。 密度流の平均対流速度はニュートン-シュルツ法で0.0085以上であり、プローブの実装は2つの種に対して0.0188以上である。 回路シミュレーションはさらに流れのダイナミクスを再現し、同等の訓練行動をもたらす。

関連論文リスト

• CMuon: Accelerating and Stabilizing Diffusion Transformer Training via Chunked Momentum Orthogonalization [10.379982302944201]
  Diffusion Transformer (DiTs) は、視覚生成モデリングにおいて最先端(SOTA)のパフォーマンスを達成したが、そのトレーニングは計算的に禁止されている。 Momentum Orthogonalization (Muon) は、Dits への直接適用により、AdamW に代わる有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-08-03T17:04:43Z)
• Log-Normal Multiplicative Dynamics for Stable Low-Precision Training of Large Networks [15.955800568981031]
  神経科学の研究により、生物学的シナプスは、ノイズのある乗法動力学により遷移を説明できる対数正規分布に従うことが示されている。 人工ニューラルネットワークのための新しいLog-Normal Multiplicative Dynamics (LMD)アルゴリズムを提案する。 以上の結果より,低精度前方操作下でのスクラッチの安定かつ高精度なトレーニングを実現することが示唆された。
  論文  参考訳（メタデータ） (2025-06-21T17:37:22Z)
• A Multi-Grained Symmetric Differential Equation Model for Learning Protein-Ligand Binding Dynamics [73.35846234413611]
  薬物発見において、分子動力学(MD)シミュレーションは、結合親和性を予測し、輸送特性を推定し、ポケットサイトを探索する強力なツールを提供する。 我々は,数値MDを容易にし,タンパク質-リガンド結合ダイナミクスの正確なシミュレーションを提供する,最初の機械学習サロゲートであるNeuralMDを提案する。 従来の数値MDシミュレーションと比較して1K$times$ Speedupを実現することにより,NeuralMDの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-26T09:35:17Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• PINNSim: A Simulator for Power System Dynamics based on Physics-Informed Neural Networks [1.2835555561822447]
  より大きな時間ステップを踏むことができるシミュレータを提案する。 電力系統における単一成分の動的解の解法として物理インフォームドニューラルネットワーク(PINN)を基礎としている。 9-busシステム上でPINNSimを実演し,PINNSimの時間ステップサイズを台形積分法と比較した。
  論文  参考訳（メタデータ） (2023-03-17T21:42:58Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。