論文の概要: Exact Risk Curves of signSGD in High-Dimensions: Quantifying Preconditioning and Noise-Compression Effects

• arxiv url: http://arxiv.org/abs/2411.12135v1
• Date: Tue, 19 Nov 2024 00:24:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:09.772166
• Title: Exact Risk Curves of signSGD in High-Dimensions: Quantifying Preconditioning and Noise-Compression Effects
• Title（参考訳）: 高次元におけるSGDの厳密なリスク曲線:プレコンディショニングと騒音圧縮効果の定量化
• Authors: Ke Liang Xiao, Noah Marshall, Atish Agarwala, Elliot Paquette,
• Abstract要約: 本稿では,高次元限界における符号SGDの解析について述べる。 我々は,実効学習率,雑音圧縮,対角前処理,勾配,雑音再構成の4つの効果を定量化する。 これらの結果はAdamにどのように拡張されるかという予想で締めくくります。
• 参考スコア（独自算出の注目度）: 6.653325043862049
• License:
• Abstract: In recent years, signSGD has garnered interest as both a practical optimizer as well as a simple model to understand adaptive optimizers like Adam. Though there is a general consensus that signSGD acts to precondition optimization and reshapes noise, quantitatively understanding these effects in theoretically solvable settings remains difficult. We present an analysis of signSGD in a high dimensional limit, and derive a limiting SDE and ODE to describe the risk. Using this framework we quantify four effects of signSGD: effective learning rate, noise compression, diagonal preconditioning, and gradient noise reshaping. Our analysis is consistent with experimental observations but moves beyond that by quantifying the dependence of these effects on the data and noise distributions. We conclude with a conjecture on how these results might be extended to Adam.
• Abstract（参考訳）: 近年、SignSGDは実用的なオプティマイザとしてだけでなく、Adamのような適応オプティマイザを理解するためのシンプルなモデルとしても関心を集めている。 signSGDは事前条件の最適化と雑音の再生に作用するという一般的な見解はあるが、理論的に解決可能な環境でこれらの効果を定量的に理解することは難しいままである。 本稿では,SDE と ODE の制約を導出し,リスクを記述したSignSGD の解析を行う。 このフレームワークを用いて,実効学習率,雑音圧縮,対角的事前条件,勾配雑音再構成の4つの効果を定量化する。 我々の分析は実験的な観測と一致しているが、これらの効果がデータや雑音の分布に与える影響を定量化することでその先へ進む。 これらの結果はAdamにどのように拡張されるかという予想で締めくくります。

関連論文リスト

• Robust Estimation of Causal Heteroscedastic Noise Models [7.568978862189266]
  学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。 我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
  論文  参考訳（メタデータ） (2023-12-15T02:26:35Z)
• Butterfly Effects of SGD Noise: Error Amplification in Behavior Cloning and Autoregression [70.78523583702209]
  深層ニューラルネットワークを用いた行動クローニングの訓練不安定性について検討した。 トレーニング中のSGD更新の最小化は,長期的報奨の急激な振動をもたらすことが観察された。
  論文  参考訳（メタデータ） (2023-10-17T17:39:40Z)
• Correlated Noise in Epoch-Based Stochastic Gradient Descent: Implications for Weight Variances [0.0]
  勾配降下(SGD)はニューラルネットワーク最適化の基盤となっている。 運動量を伴う離散時間SGDの定常分布に及ぼすエポックノイズ相関の影響について検討する。
  論文  参考訳（メタデータ） (2023-06-08T15:45:57Z)
• Partial Identification with Noisy Covariates: A Robust Optimization Approach [94.10051154390237]
  観測データセットからの因果推論は、しばしば共変量の測定と調整に依存する。 このロバストな最適化手法により、広範囲な因果調整法を拡張し、部分的同定を行うことができることを示す。 合成および実データセット全体で、このアプローチは既存の手法よりも高いカバレッジ確率でATEバウンダリを提供する。
  論文  参考訳（メタデータ） (2022-02-22T04:24:26Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)
• On Dynamic Noise Influence in Differentially Private Learning [102.6791870228147]
  Private Gradient Descent (PGD)は一般的に使用されるプライベート学習フレームワークであり、差分プロトコルに基づいてノイズを発生する。 最近の研究では、emphdynamic privacy schedulesは最終イテレーションで改善できるが、そのようなスケジュールの有効性の理論は限られている。 本稿では,これらの重要な質問に答えるために,動的プライバシスケジュールにおけるノイズの影響を総合的に分析する。
  論文  参考訳（メタデータ） (2021-01-19T02:04:00Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。