論文の概要: On Stochastic Rounding with Few Random Bits
- arxiv url: http://arxiv.org/abs/2504.20634v1
- Date: Tue, 29 Apr 2025 11:04:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.855068
- Title: On Stochastic Rounding with Few Random Bits
- Title（参考訳）: ランダムビットの少ない確率ラウンドリングについて
- Authors: Andrew Fitzgibbon, Stephen Felix,
- Abstract要約: 丸めの望ましい性質を維持しながら、できるだけわずかなビットを必要とすることは興味深い。
本稿では,数ビットラウンドリング(FBSR)の実装の可能性について検討する。
これは、いくつかの自然な実装が、時としてラウンドングプロセスに重大なバイアスをもたらすことができることを示している。
- 参考スコア（独自算出の注目度）: 1.1510009152620668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale numerical computations make increasing use of low-precision (LP) floating point formats and mixed precision arithmetic, which can be enhanced by the technique of stochastic rounding (SR), that is, rounding an intermediate high-precision value up or down randomly as a function of the value's distance to the two rounding candidates. Stochastic rounding requires, in addition to the high-precision input value, a source of random bits. As the provision of high-quality random bits is an additional computational cost, it is of interest to require as few bits as possible while maintaining the desirable properties of SR in a given computation, or computational domain. This paper examines a number of possible implementations of few-bit stochastic rounding (FBSR), and shows how several natural implementations can introduce sometimes significant bias into the rounding process, which are not present in the case of infinite-bit, infinite-precision examinations of these implementations. The paper explores the impact of these biases in machine learning examples, and hence opens another class of configuration parameters of which practitioners should be aware when developing or adopting low-precision floating point. Code is available at http://github.com/graphcore-research/arith25-stochastic-rounding.
- Abstract（参考訳）: 大規模数値計算では、低精度(LP)浮動小数点形式と混合精度算術の利用が増加し、これは確率的ラウンドリング(SR)技術により強化される。
確率的なラウンドリングには、高精度な入力値に加えて、ランダムビットのソースが必要である。
高品質なランダムビットの供給は追加の計算コストであり、与えられた計算領域や計算領域におけるSRの望ましい特性を維持しながら、できるだけ少数のビットを必要とすることに関心がある。
本稿では,数ビットの確率的ラウンドリング(FBSR)の実装の可能性について検討し,これらの実装の無限ビット無限精度試験では存在しないような,いくつかの自然な実装が,ラウンドリングプロセスに時々重要なバイアスを生じさせることを示す。
本稿は、機械学習の例におけるこれらのバイアスの影響を考察し、低精度浮動小数点の開発や採用において、実践者が意識すべき別の設定パラメーターのクラスを開放する。
コードはhttp://github.com/graphcore-research/arith25-stochastic-rounding.comから入手できる。
関連論文リスト
- Worth Their Weight: Randomized and Regularized Block Kaczmarz Algorithms without Preprocessing [2.542838926315103]
ランダム化ブロックKaczmarz法(RBK)のデータの一様サンプリング時の収束を解析し,その繰り返しがモンテカルロの感覚で$textit$ least-squaresの解に収束することを示す。
RBKに正規化を組み込むことで、これらの問題を解決する。
自然勾配最適化から生じる例を含む数値実験により、正規化アルゴリズムReBlocKは、高速特異値減衰を示す現実的な問題に対して、最小バッチ勾配勾配よりも優れていることが示唆された。
論文 参考訳（メタデータ） (2025-02-02T19:23:46Z) - Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Gaussian Processes Sampling with Sparse Grids under Additive Schwarz Preconditioner [6.408773096179187]
本稿では,GPモデルの前と後をランダムに実現するためのスケーラブルなアルゴリズムを提案する。
提案アルゴリズムはスパースグリッドを用いた点近似と加法的シュワルツプレコンディショナーを利用する。
論文 参考訳（メタデータ） (2024-08-01T00:19:36Z) - Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。
これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。
本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
論文 参考訳（メタデータ） (2024-02-06T18:59:30Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳（メタデータ） (2022-10-14T15:20:17Z) - Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。
実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。
本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-13T02:44:05Z) - Memristive Stochastic Computing for Deep Learning Parameter Optimization [1.6344851071810071]
コンピューティング(sc)は、ビットストリームとデジタルロジックを用いた様々な演算処理の低コストかつ低消費電力化を可能にするコンピューティングパラダイムである。
40nmの補完金属酸化物半導体(CMOS)プロセスを使用することで、拡張可能なアーキテクチャは1.55mm$2$を占め、文字認識タスクのために訓練されている間、畳み込みニューラルネットワーク(CNN)のパラメータを最適化する際に約167$mu$Wを消費します。
論文 参考訳（メタデータ） (2021-03-11T07:10:32Z) - Dither computing: a hybrid deterministic-stochastic computing framework [5.076419064097734]
我々はdither computingと呼ばれる代替フレームワークを提案する。
コンピューティングの側面と、同様の効率でコンピューティングを実行できる決定論的変種を組み合わせる。
丸みを帯びたアプリケーションでも有益であることを示す。
論文 参考訳（メタデータ） (2021-02-22T01:51:09Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳（メタデータ） (2020-06-16T18:43:31Z) - Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。
本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。
ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
論文 参考訳（メタデータ） (2020-06-11T19:40:38Z) - Improved stochastic rounding [0.0]
非バイアスラウンドリング(SR)法はニューラルネットワーク(NN)のトレーニングに広く用いられている
本研究では、SRのいくつかの一般的な性質を述べ、証明する。
SRの2つの新しい確率分布は、分散とバイアスの間のトレードオフを研究するために提案される。
論文 参考訳（メタデータ） (2020-05-31T10:33:20Z) - Determinantal Point Processes in Randomized Numerical Linear Algebra [80.27102478796613]
数値線形代数(RandNLA)は、科学計算、データサイエンス、機械学習などで発生する行列問題に対する改良されたアルゴリズムを開発するためにランダム性を使用する。
最近の研究により、DPPとRandNLAの間の深い実りある関係が明らかになり、新たな保証とアルゴリズムの改善につながった。
論文 参考訳（メタデータ） (2020-05-07T00:39:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。