論文の概要: Exact Dynamics of Multi-class Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2510.14074v1
• Date: Wed, 15 Oct 2025 20:31:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.60845
• Title: Exact Dynamics of Multi-class Stochastic Gradient Descent
• Title（参考訳）: マルチクラス確率勾配の励起ダイナミクス
• Authors: Elizabeth Collins-Woodfin, Inbar Seroussi,
• Abstract要約: ワンパス勾配勾配法(SGD)を用いて学習した多種多様な高次元最適化問題の学習・学習速度ダイナミクスを解析するためのフレームワークを開発する。 我々は、ODEのシステムに対する決定論的解という観点から、リスクや真の信号との重なり合いを含む、制限力学の関数の大規模なクラスに対して、正確な表現を与える。
• 参考スコア（独自算出の注目度）: 4.1538344141902135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a framework for analyzing the training and learning rate dynamics on a variety of high- dimensional optimization problems trained using one-pass stochastic gradient descent (SGD) with data generated from multiple anisotropic classes. We give exact expressions for a large class of functions of the limiting dynamics, including the risk and the overlap with the true signal, in terms of a deterministic solution to a system of ODEs. We extend the existing theory of high-dimensional SGD dynamics to Gaussian-mixture data and a large (growing with the parameter size) number of classes. We then investigate in detail the effect of the anisotropic structure of the covariance of the data in the problems of binary logistic regression and least square loss. We study three cases: isotropic covariances, data covariance matrices with a large fraction of zero eigenvalues (denoted as the zero-one model), and covariance matrices with spectra following a power-law distribution. We show that there exists a structural phase transition. In particular, we demonstrate that, for the zero-one model and the power-law model with sufficiently large power, SGD tends to align more closely with values of the class mean that are projected onto the "clean directions" (i.e., directions of smaller variance). This is supported by both numerical simulations and analytical studies, which show the exact asymptotic behavior of the loss in the high-dimensional limit.
• Abstract（参考訳）: 複数の異方性クラスから生成されたデータを用いて1パス確率勾配勾配勾配(SGD)を用いて学習した多種多様な高次元最適化問題の学習速度ダイナミクスを解析するためのフレームワークを開発する。 我々は、ODEのシステムに対する決定論的解という観点から、リスクや真の信号との重なり合いを含む、制限力学の関数の大規模なクラスに対して、正確な表現を与える。 我々は、高次元SGD力学の既存の理論をガウス混合データに拡張し、クラスの大きな(パラメータサイズで成長する)数に拡張する。 次に、二項対数回帰と最小二乗損失の問題におけるデータの共分散の異方性構造の影響を詳細に検討する。 等方的共分散, ゼロ固有値の大きいデータ共分散行列(ゼロワンモデルと記述) と, パワー・ロー分布に続くスペクトルの共分散行列の3症例について検討した。 構造相転移が存在することを示す。 特に、ゼロワンモデルと十分大きなパワーを持つパワーローモデルに対して、SGDは「クリーンな方向」(すなわち、より小さな分散の方向)に投影されるクラスの平均値とより密接に一致する傾向があることを実証する。 これは、高次元極限における損失の正確な漸近挙動を示す数値シミュレーションと解析的研究の両方によって支持されている。

関連論文リスト

• Stochastic Differential Equations models for Least-Squares Stochastic Gradient Descent [6.3151583550712065]
  グラディエントDescent(SGD)の連続時間モデルのダイナミクスについて検討する。 我々は,SGDをモデル化する退化微分方程式(squareSDEs)を,トレーニング損失(有限サンプル)と集団1(オンライン設定)のいずれにおいても解析する。
  論文  参考訳（メタデータ） (2024-07-02T14:52:21Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Hitting the High-Dimensional Notes: An ODE for SGD learning dynamics on GLMs and multi-index models [10.781866671930857]
  高次元限界におけるストリーミング勾配降下(SGD)のダイナミクスを解析する。 我々は、通常の微分方程式の体系の形で、SGDの決定論的等価性を実証する。 決定論的等価性に加えて、単純化された拡散係数を持つSDEを導入する。
  論文  参考訳（メタデータ） (2023-08-17T13:33:02Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Rigorous dynamical mean field theory for stochastic gradient descent methods [17.90683687731009]
  一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。 これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
  論文  参考訳（メタデータ） (2022-10-12T21:10:55Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。