論文の概要: On the influence of roundoff errors on the convergence of the gradient
descent method with low-precision floating-point computation
- arxiv url: http://arxiv.org/abs/2202.12276v1
- Date: Thu, 24 Feb 2022 18:18:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-25 16:35:35.061704
- Title: On the influence of roundoff errors on the convergence of the gradient
descent method with low-precision floating-point computation
- Title(参考訳): 低精度浮動小数点計算による勾配降下法の収束性に及ぼすラウンドオフ誤差の影響
- Authors: Lu Xia, Stefano Massei, Michiel Hochstenbach and Barry Koren
- Abstract要約: ゼロバイアス特性を小さな勾配を維持する確率で交換する新しいラウンドリング方式を提案する。
提案手法は,各イテレーションにおいて降下方向にある一定の丸みバイアスを生じさせる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The employment of stochastic rounding schemes helps prevent stagnation of
convergence, due to vanishing gradient effect when implementing the gradient
descent method in low precision. Conventional stochastic rounding achieves zero
bias by preserving small updates with probabilities proportional to their
relative magnitudes. In this study, we propose a new stochastic rounding scheme
that trades the zero bias property with a larger probability to preserve small
gradients. Our method yields a constant rounding bias that, at each iteration,
lies in a descent direction. For convex problems, we prove that the proposed
rounding method has a beneficial effect on the convergence rate of gradient
descent. We validate our theoretical analysis by comparing the performances of
various rounding schemes when optimizing a multinomial logistic regression
model and when training a simple neural network with 8-bit floating-point
format.
- Abstract(参考訳): 確率的ラウンドリングスキームの利用は、勾配降下法を低精度で実装する際の勾配効果の消失による収束の停滞を防ぐのに役立つ。
従来の確率的丸めは、相対的な大きさに比例する確率で小さな更新を保存することでゼロバイアスを達成する。
本研究では,ゼロバイアス特性をより大きい確率で交換し,小さな勾配を保存する新しい確率的丸めスキームを提案する。
提案手法は,各イテレーションにおいて降下方向にある一定の丸みバイアスを生じさせる。
凸問題に対しては,提案手法が勾配降下の収束率に有益であることを証明した。
本研究では,多項ロジスティック回帰モデルの最適化と8ビット浮動小数点形式を用いた単純なニューラルネットワークの学習において,様々な丸めスキームの性能を比較することにより,理論解析を検証する。
関連論文リスト
- Asymptotically efficient one-step stochastic gradient descent [62.997667081978825]
これはフィッシャースコアリングアルゴリズムの単一ステップで補正された対数型関数の勾配勾配に基づいている。
理論的およびシミュレーションにより、これは平均勾配あるいは適応勾配勾配の通常の勾配勾配の代替として興味深いものであることをi.d設定で示す。
論文 参考訳(メタデータ) (2023-06-09T13:43:07Z) - Parameter Averaging for SGD Stabilizes the Implicit Bias towards Flat
Regions [6.656282430357854]
ステップサイズが大きい平均勾配降下は、暗黙のバイアスを効果的に排除できることを示す。
具体的には, 平均勾配降下は, バニラ勾配降下よりもペナル化対象の解に近づきやすいことを示す。
論文 参考訳(メタデータ) (2023-02-18T16:29:06Z) - Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。
目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。
また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-30T18:54:54Z) - On the Convergence of the Gradient Descent Method with Stochastic
Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality [0.0]
適切なラウンドリング戦略を選択すると勾配の問題が排除され、降下方向のバイアスが強いため、バイアス付きラウンドリング誤差は有益である可能性が示唆された。
我々は、偏りのない丸めによって達成されるものよりも厳密な収束率の限界を得る。
論文 参考訳(メタデータ) (2023-01-23T16:02:54Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳(メタデータ) (2021-06-30T17:51:36Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳(メタデータ) (2021-06-28T00:17:01Z) - Channel-Directed Gradients for Optimization of Convolutional Neural
Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。
出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文 参考訳(メタデータ) (2020-08-25T00:44:09Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳(メタデータ) (2020-06-04T21:51:21Z) - Non-asymptotic bounds for stochastic optimization with biased noisy
gradient oracles [8.655294504286635]
関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。
提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
論文 参考訳(メタデータ) (2020-02-26T12:53:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。