論文の概要: DisMUSE: An Efficient Distributed Singular-Spectrum-Based Optimization Approach with Theoretical Convergence Guarantee
- arxiv url: http://arxiv.org/abs/2611.10212v1
- Date: Fri, 06 Nov 2026 20:59:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:37.597271
- Title: DisMUSE: An Efficient Distributed Singular-Spectrum-Based Optimization Approach with Theoretical Convergence Guarantee
- Title(参考訳): DisMUSE:理論収束保証を用いた分散特異スペクトルに基づく効率的な最適化手法
- Abstract要約: DisMUSEは、データセンターとフェデレーション設定の両方のための効率的な分散特異スペクトルベース(SSB)フレームワークである。
DisMUSE は $(((KT)-)$O 局所分散率を達成し、ノード当たりノード数はそれぞれノード当たりのノード数である。
- 参考スコア(独自算出の注目度): 51.11813325221214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, singular-spectrum-based optimizers have attracted increasing attention due to their ability to preserve the matrix structure of neural network gradients, thereby enabling geometry-aware optimization. However, most singular-spectrum-based (SSB) approaches remain centralized, limiting their use in distributed learning infrastructures that exploit massive parallelism. Distributed SSB optimization is still at an early stage, with open questions about convergence guarantees and communication efficiency. To fill this gap, we propose the Distributed Momentum-based Spectral Estimator (DisMUSE), an efficient distributed SSB optimization framework for both data-center and federated settings. Using Muon-style exact orthogonalized momentum as the spectral update, DisMUSE integrates a recursive variance-reduced momentum estimator and achieves an $O((KT)^{-1/3})$ convergence rate, where $K$ and $T$ denote the number of nodes and local iterations per node, respectively. This rate matches the best-known rates for variance-reduced nonconvex distributed optimization. Building on this variance-reduced framework, we study two extensions. First, our DisMUSE method with finite Newton-Schulz (NS) iterations preserves the same convergence order under a uniform normalized support-spectrum condition, up to a multiplicative factor. Second, we develop a communication-efficient variant based on low-rank (LR) momentum transmission and quantify the error it introduces to the stationarity bound, characterizing the trade-off between accuracy and communication cost.
- Abstract(参考訳): 近年,ニューラルネットワーク勾配の行列構造を保ち,幾何認識の最適化を可能にするため,特異スペクトルに基づくオプティマイザが注目されている。
しかし、ほとんどの特異スペクトルベース(SSB)アプローチは中央集権的であり、大規模な並列性を利用する分散学習インフラでの使用を制限する。
分散SSB最適化はまだ初期段階であり、収束保証と通信効率に関するオープンな疑問がある。
このギャップを埋めるために、データセンターとフェデレーション設定の両方に効率的な分散SSB最適化フレームワークであるDistributed Momentum-based Spectral Estimator (DisMUSE)を提案する。
スペクトル更新としてミューオンスタイルの正確な直交運動量を用いて、DisMUSEは再帰的分散還元運動量推定器を統合し、$O((KT)^{-1/3})$収束率を達成し、$K$と$T$はそれぞれノード当たりのノード数と局所反復数を表す。
この速度は分散された非凸分散最適化の最もよく知られた速度と一致する。
この分散還元フレームワークに基づいて、我々は2つの拡張について研究する。
まず,有限Newton-Schulz (NS) 反復を用いたDisMUSE法は,一様正規化サポートスペクトル条件下で同じ収束順序を維持し,乗法係数まで保存する。
第2に、低ランク(LR)モーメント伝送に基づく通信効率の変動を開発し、その誤差を定常性境界に量子化し、精度と通信コストのトレードオフを特徴付ける。
関連論文リスト
- One More Time: Revisiting Neural Quantum States from a Reinforcement Learning Perspective [2.390638133661186]
ニューラル量子状態(NQS)は、量子多体波動関数を近似するフレキシブルでスケーラブルなフレームワークを提供する。
変動エネルギーの最小化はボルン分布よりも有利な政策勾配問題と見なすことができる。
本稿では,振幅チャネルの確率比変化をクリップする信頼領域アルゴリズムであるPWOを紹介する。
論文 参考訳(メタデータ) (2026-07-02T15:09:50Z) - Expanding SPHERE-JEPA: A Family of Statistical Regularizers for the Hypersphere [11.087393998848254]
SSL(Self-Supervised Learning)では,単位超球面上の一様分布を明示的に強制することにより,表現の崩壊を防止することが実証された。
現在のフレームワークは通常、SIGReg(LeJEPAで使用される)やSUSReg(SPHEREJEPAで使用される)のようなスライスされた統計正規化器に依存している。
これにより、トレーニング勾配にプロジェクションのばらつきを注入し、最適化を安定化させ、収束を妨げる。
本研究では,これらのランダムな射影を解析的に統合することにより,決定論的最大平均離散性(MMD)が得られ,スライスされた手法のばらつきを回避できることを示す。
論文 参考訳(メタデータ) (2026-06-16T07:10:05Z) - Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization [8.185454167395326]
我々は,Nesterov型原始双対とマルチラウンド高速ゴシップ平均化を組み合わせた分散アルゴリズムであるemphMulti-Gossip Accelerated DSGD (MG-ADSGD)を提案する。
キーとなるアイデアは、ゴシップ深さをミニバッチサイズに結合することで、追加の通信ラウンドがコンセンサス精度を向上し、勾配分散を低減することである。
論文 参考訳(メタデータ) (2026-06-05T17:51:11Z) - Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data [77.19117648492104]
We present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost。
FedRCOは、効率的な近似曲率と証明可能な安定性メカニズムを統合することで、これらの課題に対処する。
我々は,FedRCOが,最先端の1次法と2次法のどちらよりも高い精度と高速な収束を実現しつつ,多種多様な非IIDシナリオに対して優れたロバスト性を実現することを示す。
論文 参考訳(メタデータ) (2026-03-30T11:37:46Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳(メタデータ) (2026-02-24T05:32:03Z) - Variational Entropic Optimal Transport [67.76725267984578]
本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。
VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。
合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
論文 参考訳(メタデータ) (2026-02-02T15:48:44Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-17T08:32:25Z) - Elucidating Subspace Perturbation in Zeroth-Order Optimization: Theory and Practice at Scale [33.38543010618118]
Zeroth-order (ZO) 最適化は、勾配ベースのバックプロパゲーション法に代わる有望な代替手段として登場した。
高次元性が主要なボトルネックであることを示し、サブスペースの摂動が勾配ノイズを減らし収束を加速させる方法について説明するために、テキストサブスペースアライメントの概念を導入する。
本稿では,ブロック座標降下法(MeZO-BCD)を用いた効率的なZO法を提案し,各ステップでパラメータのサブセットのみを摂動・更新する。
論文 参考訳(メタデータ) (2025-01-31T12:46:04Z) - A Fresh Look at Generalized Category Discovery through Non-negative Matrix Factorization [83.12938977698988]
Generalized Category Discovery (GCD) は、ラベル付きベースデータを用いて、ベース画像と新規画像の両方を分類することを目的としている。
現在のアプローチでは、コサイン類似性に基づく共起行列 $barA$ の固有の最適化に不適切に対処している。
本稿では,これらの欠陥に対処するNon-Negative Generalized Category Discovery (NN-GCD) フレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-29T07:24:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。