論文の概要: Rennala NSGD: Asynchronous Stochastic Optimization Beyond Euclidean Geometry

• arxiv url: http://arxiv.org/abs/2610.38773v1
• Date: Wed, 28 Oct 2026 19:47:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.407434
• Title: Rennala NSGD: Asynchronous Stochastic Optimization Beyond Euclidean Geometry
• Title（参考訳）: Rennala NSGD:ユークリッド幾何学を超えた非同期確率最適化
• Abstract要約: 深層学習における非ユーデアン幾何学への依存について検討する。 半非同期分散勾配を導入し,ウォールタイムの複雑性を保証する。
• 参考スコア（独自算出の注目度）: 97.74082492419183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The empirical success of matrix-aware optimizers, such as Muon (Jordan et al., 2024) and Shampoo (arXiv:1802.09568), highlights the potential of non-Euclidean geometry for deep learning, including large language model (LLM) training. Despite this progress, the theoretical understanding of stochastic optimization in general normed spaces remains limited, particularly in distributed settings. We analyze minibatch stochastic gradient descent (SGD) for smooth nonconvex optimization with respect to an arbitrary norm on a finite-dimensional space. Using the framework of $κ$-regular normed spaces (arXiv:0809.0813), we derive high-probability oracle complexity bounds under a light-tail condition stated directly in the dual norm induced by the update norm. The bounds make the dependence on geometry explicit through the regularity constant $κ$ of the dual space. In the Euclidean case, our bound recovers the standard minibatch SGD rate up to logarithmic factors. For some non-Euclidean geometries and noise models, it is sharper than bounds obtained by converting a Euclidean noise assumption, reducing a linear dimension dependence to a logarithmic one. Building on this framework, we introduce Rennala NSGD, a semi-asynchronous distributed algorithm, and establish wall-clock time complexity guarantees under fixed, heterogeneous worker computation times. In the Euclidean case ($κ=1$), our bound matches the parameter dependence of classical Rennala SGD up to logarithmic factors.
• Abstract（参考訳）: Muon (Jordan et al , 2024) や Shampoo (arXiv:1802.09568) のような行列対応オプティマイザの実証的な成功は、大規模言語モデル(LLM)トレーニングを含むディープラーニングにおける非ユークリッド幾何学の可能性を強調している。 この進歩にもかかわらず、一般ノルム空間における確率的最適化の理論的理解は、特に分散環境では限定的である。 有限次元空間上の任意のノルムに対する滑らかな非凸最適化のためのミニバッチ確率勾配勾配(SGD)を解析する。 κ$-正則ノルム空間(arXiv:0809.0813)のフレームワークを用いて、更新ノルムによって誘導される双対ノルムに直接記述された光尾条件の下で、高確率のオラクル複雑性境界を導出する。 境界は、双対空間の正則性定数$κ$を通じて幾何学への依存を明示する。 ユークリッドの場合、我々の限界は、対数因子までの標準最小バッチSGD率を回復する。 いくつかの非ユークリッド幾何学やノイズモデルでは、ユークリッド雑音の仮定を変換して得られる境界よりもシャープであり、対数的空間への線形次元依存性を減少させる。 この枠組みに基づいて,半非同期分散アルゴリズムであるRennala NSGDを導入し,固定された不均一なワーカ計算時間の下でウォールクロック時の複雑性を保証する。 ユークリッドの場合(κ=1$)、我々の境界は古典的レンナルナSGDのパラメータ依存性と対数的因子に一致する。

関連論文リスト

• Geometry-Aware Multi-Objective Optimization: Norm-Constrained Oracles with Entropic Weight Updates [38.97446792838266]
  多重勾配降下は典型的にはユークリッド幾何学で定式化されるが、行列対応のオラクルは他のノルムによって誘導される方向を使用する。 基準制約付き線形最小化とタスク重みのエントロピー更新を組み合わせた単一ループ多目的法を解析する。 実験では、この手法を既存のマルチタスクと比較し、ジオメトリ、重み付け、運動量選択を検討した。
  論文  参考訳（メタデータ） (2026-10-09T15:55:53Z)
• Error estimates for tamed Euler and Randomized Euler schemes for SDEs with locally Lipschitz drift with applications to non-logconcave sampling and optimization [0.0]
  局所的なリプシッツによる微分方程式の数値的な離散化、超最適に成長するドリフト、そしてソボレフの不等式を満たす非対数凹分布からのサンプリングがもたらす意味について検討する。 超線形成長下での無作為なランダム化ランゲヴィンスキームの総変分における非漸近的保証を初めて確立する。
  論文  参考訳（メタデータ） (2026-05-24T08:35:24Z)
• Towards Scalable Persistence-Based Topological Optimization [44.16669776030478]
  永続性に基づく位相最適化は、点クラウド $X の部分集合 mathbbRd$ を $L(X) = ell(mathrmDgm(X))$ という形の目的を最小化することによって変形する。 実際、最適化は2つの結合した問題によって制限される: 永続ホモロジーは典型的にはサブサンプル上で計算され、結果として生じる位相勾配は非常にスパースであり、非ゼロ更新を受けるアンカーポイントはわずかである。
  論文  参考訳（メタデータ） (2026-05-09T15:47:20Z)
• Forecasting as Rendering: A 2D Gaussian Splatting Framework for Time Series Forecasting [79.37674445572462]
  時系列予測(TSF)は、周期内変動と周期間トレンドの複雑な絡み合いのため、依然として困難な問題である。 形状変化テンソルを静止画像として扱うと、トポロジカルミスマッチが発生する。 均一な固定サイズの表現に依存することは、モデリング能力を非効率に割り当てる。 TimeGSは、予測パラダイムをレグレッションから2D生成レンダリングに根本的にシフトする、新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-02-10T14:13:36Z)
• Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity [51.56484100374058]
  本稿では,並列計算の理論的下界を実現する最初の非同期アルゴリズムであるリングリーダーASGDを紹介する。 我々の分析により、リングリーダーASGDは任意の勾配と時間変化速度の下で最適であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-09-26T19:19:15Z)
• Euclidean Distance Matrix Completion via Asymmetric Projected Gradient Descent [25.846262685970164]
  本稿では,Burer-Monteiro因子化に基づく勾配型アルゴリズムの提案と解析を行う。 部分ユークリッド距離測定から点集合構成を再構成する。
  論文  参考訳（メタデータ） (2025-04-28T07:13:23Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。