論文の概要: On the Convergence of the Gradient Descent Method with Stochastic Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality

• arxiv url: http://arxiv.org/abs/2301.09511v2
• Date: Sat, 18 Jan 2025 16:29:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:27.570226
• Title: On the Convergence of the Gradient Descent Method with Stochastic Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality
• Title（参考訳）: Polyak-Lojasiewiczの不等式下での確率的固定点円周誤差による勾配Descent法の収束性について
• Authors: Lu Xia, Michiel E. Hochstenbach, Stefano Massei,
• Abstract要約: 低精度の計算でニューラルネットワークを訓練する場合、丸め誤差はしばしば停滞を引き起こすか、勾配の収束に有害である。 適切な丸め戦略を選択すると、消失する勾配問題を排除し、下降方向の丸めバイアスを強制するため、偏み付き丸め誤差が有益であることを示す。
• 参考スコア（独自算出の注目度）: 1.2069908820482733
• License:
• Abstract: When training neural networks with low-precision computation, rounding errors often cause stagnation or are detrimental to the convergence of the optimizers; in this paper we study the influence of rounding errors on the convergence of the gradient descent method for problems satisfying the Polyak-\Lojasiewicz inequality. Within this context, we show that, in contrast, biased stochastic rounding errors may be beneficial since choosing a proper rounding strategy eliminates the vanishing gradient problem and forces the rounding bias in a descent direction. Furthermore, we obtain a bound on the convergence rate that is stricter than the one achieved by unbiased stochastic rounding. The theoretical analysis is validated by comparing the performances of various rounding strategies when optimizing several examples using low-precision fixed-point number formats.
• Abstract（参考訳）: 本稿では,ロージャシエヴィチの不等式を満たす問題に対する勾配降下法の収束度に及ぼす丸め誤差の影響について検討する。 この文脈では、適切な丸め戦略を選択すると、消失する勾配問題を排除し、下降方向の丸めバイアスを強制するため、バイアス付き確率的丸め誤差が有益であることを示す。 さらに、偏りのない確率的丸めにより達成されるものよりも厳密な収束率の有界値を得る。 この理論解析は、低精度の固定点数形式を用いていくつかの例を最適化する際に、様々なラウンドング戦略の性能を比較することによって検証される。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• On the influence of roundoff errors on the convergence of the gradient descent method with low-precision floating-point computation [0.0]
  ゼロバイアス特性を小さな勾配を維持する確率で交換する新しいラウンドリング方式を提案する。 提案手法は,各イテレーションにおいて降下方向にある一定の丸みバイアスを生じさせる。
  論文  参考訳（メタデータ） (2022-02-24T18:18:20Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• On the Convergence of SGD with Biased Gradients [28.400751656818215]
  偏り勾配法 (SGD) の導出領域を解析し, 個々の更新を圧縮によって劣化させる。 偏差精度と収束率の影響の程度を定量化する。
  論文  参考訳（メタデータ） (2020-07-31T19:37:59Z)
• Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles [8.655294504286635]
  関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。 提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
  論文  参考訳（メタデータ） (2020-02-26T12:53:04Z)
• Geometry, Computation, and Optimality in Stochastic Optimization [24.154336772159745]
  問題幾何学の計算および統計的結果とオンライン最適化について検討する。 制約集合と勾配幾何学に焦点をあてて、どの次法と適応次法が最適(minimax)であるかという問題族を特徴づける。
  論文  参考訳（メタデータ） (2019-09-23T16:14:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。