論文の概要: SHANG++: Robust Stochastic Acceleration under Multiplicative Noise

• arxiv url: http://arxiv.org/abs/2603.09355v1
• Date: Tue, 10 Mar 2026 08:35:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.28307
• Title: SHANG++: Robust Stochastic Acceleration under Multiplicative Noise
• Title（参考訳）: SHANG++: 乗法雑音下でのロバスト確率加速度
• Authors: Yaxin Yu, Long Chen, Minfu Feng,
• Abstract要約: 我々は,ヘッセン駆動のネステロフ加速勾配流を離散化することにより,2つの加速勾配降下法を開発した。 SHANG++は減衰補正を追加し、より強いノイズロバスト性でより高速な収束を実現する。 我々の実験では、SHANG++は、深層学習における凸問題やアプリケーションに対して一貫してよく機能する。
• 参考スコア（独自算出の注目度）: 6.759434764396595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Under the multiplicative noise scaling (MNS) condition, original Nesterov acceleration is provably sensitive to noise and may diverge when gradient noise overwhelms the signal. In this paper, we develop two accelerated stochastic gradient descent methods by discretizing the Hessian-driven Nesterov accelerated gradient flow. We first derive SHANG, a direct Gauss-Seidel-type discretization that already improves stability under MNS. We then introduce SHANG++, which adds a damping correction and achieves faster convergence with stronger noise robustness. We establish convergence guarantees for both convex and strongly convex objectives under MNS, together with explicit parameter choices. In our experiments, SHANG++ performs consistently well across convex problems and applications in deep learning. In a dedicated noise experiment on ResNet-34, a single hyperparameter configuration attains accuracy within 1% of the noise-free setting. Across all experiments, SHANG++ outperforms existing accelerated methods in robustness and efficiency, with minimal parameter sensitivity.
• Abstract（参考訳）: 乗法ノイズスケーリング(MNS)条件下では、元のネステロフ加速度はノイズに確実に敏感であり、勾配ノイズが信号に圧倒されると発散する可能性がある。 本稿では,ヘッセン駆動のネステロフ加速勾配流を離散化することにより,2つの確率勾配勾配降下法を開発する。 まず、MNS下での安定性を向上する直接ガウス・シーデル型離散化であるSHANGを導出する。 次に、減衰補正を加えたSHANG++を導入し、より強いノイズロバスト性でより高速な収束を実現する。 我々は,MNSの下での凸と強凸の両目的に対して,明確なパラメータ選択とともに収束保証を確立する。 我々の実験では、SHANG++は、深層学習における凸問題やアプリケーションに対して一貫してよく機能する。 ResNet-34の専用ノイズ実験では、単一パラメータ構成でノイズフリー設定の1%以内の精度が得られる。 すべての実験において、SHANG++は、パラメータの感度を最小限に抑えて、ロバスト性と効率で既存のアクセラレーションされたメソッドより優れています。

関連論文リスト

• Optimal High-probability Convergence of Nonlinear SGD under Heavy-tailed Noise via Symmetrization [50.49466204159458]
  雑音対称性に基づく2つの新しい推定器を提案する。 よりシャープな分析と改善されたレートを提供します。 モーメントと対称雑音を仮定する作業と比較して、よりシャープな解析と改善率を提供する。
  論文  参考訳（メタデータ） (2025-07-12T00:31:13Z)
• Noise Conditional Variational Score Distillation [60.38982038894823]
  騒音条件変化スコア蒸留(NCVSD)は, 予混合拡散モデルから生成消音剤を蒸留する新しい方法である。 この知見を変分スコア蒸留フレームワークに組み込むことで、生成的デノイザのスケーラブルな学習を可能にする。
  論文  参考訳（メタデータ） (2025-06-11T06:01:39Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Nesterov acceleration despite very noisy gradients [2.048226951354646]
  我々はネステロフの加速勾配降下アルゴリズムの一般化を提案する。 AGNESは滑らかな凸と強い凸最小化タスクの加速を達成する。
  論文  参考訳（メタデータ） (2023-02-10T21:32:47Z)
• Tradeoffs between convergence rate and noise amplification for momentum-based accelerated optimization algorithms [8.669461942767098]
  モーメントに基づく1次最適化アルゴリズムについて検討し, 繰り返しが付加的な白色雑音を受ける場合について検討した。 強い凸2次問題に対しては、雑音増幅の定量化のために最適化変数における誤差の定常分散を用いる。 雑音増幅と定位時間のバランスをとるアルゴリズムの2つのパラメータ化ファミリを導入する。
  論文  参考訳（メタデータ） (2022-09-24T04:26:30Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。