論文の概要: Improved stochastic rounding

• arxiv url: http://arxiv.org/abs/2006.00489v1
• Date: Sun, 31 May 2020 10:33:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 13:15:04.201308
• Title: Improved stochastic rounding
• Title（参考訳）: 改良型確率ラウンドリング
• Authors: Lu Xia, Martijn Anthonissen, Michiel Hochstenbach and Barry Koren
• Abstract要約: 非バイアスラウンドリング(SR)法はニューラルネットワーク(NN)のトレーニングに広く用いられている 本研究では、SRのいくつかの一般的な性質を述べ、証明する。 SRの2つの新しい確率分布は、分散とバイアスの間のトレードオフを研究するために提案される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the limited number of bits in floating-point or fixed-point arithmetic, rounding is a necessary step in many computations. Although rounding methods can be tailored for different applications, round-off errors are generally unavoidable. When a sequence of computations is implemented, round-off errors may be magnified or accumulated. The magnification of round-off errors may cause serious failures. Stochastic rounding (SR) was introduced as an unbiased rounding method, which is widely employed in, for instance, the training of neural networks (NNs), showing a promising training result even in low-precision computations. Although the employment of SR in training NNs is consistently increasing, the error analysis of SR is still to be improved. Additionally, the unbiased rounding results of SR are always accompanied by large variances. In this study, some general properties of SR are stated and proven. Furthermore, an upper bound of rounding variance is introduced and validated. Two new probability distributions of SR are proposed to study the trade-off between variance and bias, by solving a multiple objective optimization problem. In the simulation study, the rounding variance, bias, and relative errors of SR are studied for different operations, such as summation, square root calculation through Newton iteration and inner product computation, with specific rounding precision.
• Abstract（参考訳）: 浮動小数点演算や固定小数点演算のビット数が限られているため、丸みは多くの計算において必要なステップである。 ラウンドングメソッドは異なるアプリケーション向けにカスタマイズできるが、ラウンドオフエラーは一般的に避けられない。 計算列が実装されると、ラウンドオフエラーが拡大または蓄積される。 ラウンドオフエラーの拡大は重大な障害を引き起こす可能性がある。 確率ラウンドリング(SR)は、例えばニューラルネットワーク(NN)のトレーニングに広く用いられている非バイアスラウンドリング法として導入され、低精度計算においても有望なトレーニング結果を示す。 トレーニングNNにおけるSRの利用は一貫して増加しているが、SRの誤り解析は改善され続けている。 さらに、SRの偏りのない丸めの結果は常に大きなばらつきを伴う。 本研究では,srの一般性について述べ,証明する。 さらに、円形分散の上限を導入し、検証する。 SRの2つの新しい確率分布は、多目的最適化問題の解法により、分散とバイアスのトレードオフを研究するために提案される。 シミュレーション研究では, ニュートン反復による和, 平方根計算, 内積計算などの異なる演算に対して, 丸めの分散, バイアス, 相対誤差について, 特定の丸め精度で検討した。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• On the Convergence of the Gradient Descent Method with Stochastic Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality [0.0]
  適切なラウンドリング戦略を選択すると勾配の問題が排除され、降下方向のバイアスが強いため、バイアス付きラウンドリング誤差は有益である可能性が示唆された。 我々は、偏りのない丸めによって達成されるものよりも厳密な収束率の限界を得る。
  論文  参考訳（メタデータ） (2023-01-23T16:02:54Z)
• On the influence of roundoff errors on the convergence of the gradient descent method with low-precision floating-point computation [0.0]
  ゼロバイアス特性を小さな勾配を維持する確率で交換する新しいラウンドリング方式を提案する。 提案手法は,各イテレーションにおいて降下方向にある一定の丸みバイアスを生じさせる。
  論文  参考訳（メタデータ） (2022-02-24T18:18:20Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Square Root Bundle Adjustment for Large-Scale Reconstruction [56.44094187152862]
  QR分解によるランドマーク変数のnullspace marginalizationに依存するバンドル調整問題の新たな定式化を提案する。 平方根束調整と呼ばれる私たちのアプローチは、一般的に使用されるSchur補完トリックと代数的に等価です。 BALデータセットを用いた実世界での実験では、提案されたソルバが単一の精度でも平均的等しく正確なソリューションで達成できることを示す。
  論文  参考訳（メタデータ） (2021-03-02T16:26:20Z)
• Dither computing: a hybrid deterministic-stochastic computing framework [5.076419064097734]
  我々はdither computingと呼ばれる代替フレームワークを提案する。 コンピューティングの側面と、同様の効率でコンピューティングを実行できる決定論的変種を組み合わせる。 丸みを帯びたアプリケーションでも有益であることを示す。
  論文  参考訳（メタデータ） (2021-02-22T01:51:09Z)
• Bias-Free Scalable Gaussian Processes via Randomized Truncations [26.985324213848475]
  本稿では,初期乱れ共役勾配 (CG) とランダムフーリエ特徴 (RFF) の2つの共通手法を解析する。 CGは不適合になり、RFFは不適合になりがちです。 分散の増大と引き換えにバイアスを排除したランダム化トランケーション推定器を用いて,これらの問題に対処する。
  論文  参考訳（メタデータ） (2021-02-12T18:54:10Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Smooth Deformation Field-based Mismatch Removal in Real-time [10.181846237133167]
  非剛性変形は、パラメトリック変換が見つからないため、ミスマッチの除去を困難にする。 再重み付けと1点RANSAC戦略(R1P-RNSC)に基づくアルゴリズムを提案する。 両アルゴリズムの組み合わせは,他の最先端手法と比較して精度が高いことを示す。
  論文  参考訳（メタデータ） (2020-07-16T18:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。