論文の概要: High-dimensional SGD aligns with emerging outlier eigenspaces

• arxiv url: http://arxiv.org/abs/2310.03010v1
• Date: Wed, 4 Oct 2023 17:53:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 13:29:30.497502
• Title: High-dimensional SGD aligns with emerging outlier eigenspaces
• Title（参考訳）: 出現する外れ値固有空間と高次元SGD整列
• Authors: Gerard Ben Arous, Reza Gheissari, Jiaoyang Huang, Aukosh Jagannath
• Abstract要約: 本研究では、勾配降下(SGD)と経験的ヘッセン行列および勾配行列のスペクトルを用いたトレーニングダイナミクスの合同進化について検討する。 我々は,SGD軌道がヘッセン行列と勾配行列の出現する低ランクアウトリー固有空間と急速に一致することを証明した。
• 参考スコア（独自算出の注目度）: 12.17329551421778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We rigorously study the joint evolution of training dynamics via stochastic gradient descent (SGD) and the spectra of empirical Hessian and gradient matrices. We prove that in two canonical classification tasks for multi-class high-dimensional mixtures and either 1 or 2-layer neural networks, the SGD trajectory rapidly aligns with emerging low-rank outlier eigenspaces of the Hessian and gradient matrices. Moreover, in multi-layer settings this alignment occurs per layer, with the final layer's outlier eigenspace evolving over the course of training, and exhibiting rank deficiency when the SGD converges to sub-optimal classifiers. This establishes some of the rich predictions that have arisen from extensive numerical studies in the last decade about the spectra of Hessian and information matrices over the course of training in overparametrized networks.
• Abstract（参考訳）: 我々は,確率勾配降下(SGD)と経験的ヘッセン行列および勾配行列のスペクトルを用いて,トレーニングダイナミクスの連成進化を厳密に研究した。 多クラス高次元混合および1層または2層ニューラルネットワークの2つの標準的分類タスクにおいて、sgd軌道はヘッセン行列および勾配行列の出現する低ランク外接固有空間と高速に一致することが証明される。 さらに、多層設定では、このアライメントは層ごとに発生し、最終層の外れた固有空間はトレーニングの過程で進化し、sgdがサブ最適分類器に収束するとランクが低下する。 これは、過パラメータネットワークでのトレーニングの過程で、ヘッセン行列と情報行列のスペクトルに関する過去10年間の広範な数値研究から生じたリッチな予測のいくつかを確立している。

関連論文リスト

• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing [74.2952487120137]
  GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。 本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
  論文  参考訳（メタデータ） (2023-01-27T02:30:51Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Linearization and Identification of Multiple-Attractors Dynamical System through Laplacian Eigenmaps [8.161497377142584]
  速度拡張カーネルを利用したグラフベースのスペクトルクラスタリング手法を提案し,同じダイナミックスに属するデータポイントを接続する。 部分力学が線型であり、n-次元埋め込みが準線型であるような2次元埋め込み空間が常に存在することを証明する。 我々は、ラプラシアン埋め込み空間から元の空間への微分同相性を学び、ラプラシアン埋め込みが良好な再構成精度とより高速な訓練時間をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-02-18T12:43:25Z)
• Phase diagram of Stochastic Gradient Descent in high-dimensional two-layer neural networks [22.823904789355495]
  本研究では, 平均流体力学系とサード・アンド・ソルラのセミナルアプローチの関連について検討する。 我々の研究は、統計物理学から高次元の速度を決定論的に記述することに基づいている。
  論文  参考訳（メタデータ） (2022-02-01T09:45:07Z)
• Recycling Model Updates in Federated Learning: Are Gradient Subspaces Low-Rank? [26.055358499719027]
  本稿では,この低ランク性を利用して勾配リサイクルを実現する「Look-back Gradient Multiplier(LBGM)」アルゴリズムを提案する。 我々は,LBGMの収束挙動を解析的に特徴付け,通信貯蓄とモデル性能のトレードオフの性質を明らかにする。 LBGMは,既存の分散モデルトレーニングのためのスペーシフィケーション技術の上に,スタンドアロンあるいは積み重ねて使用可能な汎用的なプラグアンドプレイアルゴリズムであることを示す。
  論文  参考訳（メタデータ） (2022-02-01T09:05:32Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)
• A block coordinate descent optimizer for classification problems exploiting convexity [0.0]
  隠れ層の重み付けにおけるクロスエントロピー損失の凸性を利用した分類タスクのためのディープ線形ネットワークに座標降下法を導入する。 線形層に対する大域的最適パラメータと隠蔽層への勾配勾配を求める2次法とを交互に組み合わせることで、トレーニング全体を通してデータに対する適応基底の最適適合性を確保する。
  論文  参考訳（メタデータ） (2020-06-17T19:49:06Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。