論文の概要: Stochastic Optimization Under Power-Law Spectra: Tight Bounds and Shuffling Analysis

• arxiv url: http://arxiv.org/abs/2609.36271v1
• Date: Mon, 28 Sep 2026 21:01:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.013595
• Title: Stochastic Optimization Under Power-Law Spectra: Tight Bounds and Shuffling Analysis
• Title（参考訳）: 電力線スペクトルによる確率最適化:タイト境界とシャッフル解析
• Abstract要約: 近年の研究では、データに対するパワーロースペクトル条件は、決定論的勾配勾配の厳密な収束境界を可能にすることが確認されている。 この結果を高次元機械学習の体制に拡張する。 我々の結果は、抽象スペクトル理論と実践的な訓練選択のギャップを埋め、データの最適化速度の統一的な画像を提供する。
• 参考スコア（独自算出の注目度）: 54.1075866464923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has established that power-law spectral conditions on data enable tight convergence bounds for deterministic gradient descent, resolving the conflict between classical exponential bounds and observed power-law learning curves. In this work, we extend this result to the stochastic regime of high-dimensional machine learning. We provide two main contributions: (1) We generalize the power-law spectral theory to Stochastic Gradient Descent (SGD), showing that the same spectral exponents govern stochastic dynamics; (2) For the fundamental case of isotropic Gaussian data, we provide a precise analysis of data shuffling, deriving exact constants that prove Single Shuffle is strictly superior to Flip-Flop and IID sampling. Our results bridge the gap between abstract spectral theory and practical stochastic training choices, offering a unified picture of how data geometry drives optimization speed.
• Abstract（参考訳）: 近年の研究では、データに対するパワーロースペクトル条件は、古典的指数的境界と観測されたパワーロー学習曲線の間の矛盾を解消し、決定論的勾配勾配の厳密な収束境界を可能にすることが確認されている。 本研究では,この結果を高次元機械学習の確率的構造に拡張する。 我々は,(1)SGD(Stochastic Gradient Descent)に対するパワー・ロースペクトル理論を一般化し,同じスペクトル指数が確率力学を支配していることを示す。(2)等方的ガウスデータの基本的な場合において,Single ShuffleがFlip-FlopとIIDサンプリングよりも厳密に優れていることを示す正確な定数を導出したデータシャッフルの正確な解析を行う。 この結果は,抽象スペクトル理論と実践確率的学習選択のギャップを埋めるものであり,データ幾何が最適化速度をいかに加速するかを統一した図形を提供する。

関連論文リスト

• Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
  線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。 解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-20T00:08:31Z)
• Holistic Physics Solver: Learning PDEs in a Unified Spectral-Physical Space [54.13671100638092]
  Holistic Physics Mixer (HPM) は、スペクトルと物理情報を統一された空間に統合するためのフレームワークである。 我々はHPMが精度と計算効率の両面で最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:19:39Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Tight Convergence Rate Bounds for Optimization Under Power Law Spectral Conditions [15.25021403154845]
  スペクトルの所定の形状に対して、最適に加速された方法、そのスケジュール、収束上限が統一的に得られるかを示す。 実験により、得られた収束境界と加速度戦略は、正確に2次最適化問題に関係しているだけでなく、ニューラルネットワークのトレーニングに適用した場合にもかなり正確であることがわかった。
  論文  参考訳（メタデータ） (2022-02-02T12:24:03Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。