論文の概要: Dither computing: a hybrid deterministic-stochastic computing framework
- arxiv url: http://arxiv.org/abs/2102.10732v1
- Date: Mon, 22 Feb 2021 01:51:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-23 14:39:56.887749
- Title: Dither computing: a hybrid deterministic-stochastic computing framework
- Title（参考訳）: ディザコンピューティング:ハイブリッド決定論的確率コンピューティングフレームワーク
- Authors: Chai Wah Wu
- Abstract要約: 我々はdither computingと呼ばれる代替フレームワークを提案する。
コンピューティングの側面と、同様の効率でコンピューティングを実行できる決定論的変種を組み合わせる。
丸みを帯びたアプリケーションでも有益であることを示す。
- 参考スコア（独自算出の注目度）: 5.076419064097734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic computing has a long history as an alternative method of
performing arithmetic on a computer. While it can be considered an unbiased
estimator of real numbers, it has a variance and MSE on the order of
$\Omega(\frac{1}{N})$. On the other hand, deterministic variants of stochastic
computing remove the stochastic aspect, but cannot approximate arbitrary real
numbers with arbitrary precision and are biased estimators. However, they have
an asymptotically superior MSE on the order of $O(\frac{1}{N^2})$. Recent
results in deep learning with stochastic rounding suggest that the bias in the
rounding can degrade performance. We proposed an alternative framework, called
dither computing, that combines aspects of stochastic computing and its
deterministic variants and that can perform computing with similar efficiency,
is unbiased, and with a variance and MSE also on the optimal order of
$\Theta(\frac{1}{N^2})$. We also show that it can be beneficial in stochastic
rounding applications as well. We provide implementation details and give
experimental results to comparatively show the benefits of the proposed scheme.
- Abstract（参考訳）: 確率計算はコンピュータ上で演算を実行する代替方法として長い歴史を持つ。
それは実数の偏りのない推定値と考えることができるが、$\Omega(\frac{1}{N})$の順序で分散とMSEを持つ。
一方、確率計算の決定論的変種は確率的側面を除去するが、任意の精度で任意の実数を近似することはできない。
しかし、それらは$O(\frac{1}{N^2})$の順序で無症状に優れたMSEを持つ。
確率的丸めによるディープラーニングの最近の結果は、丸めのバイアスがパフォーマンスを低下させることを示唆している。
我々は,確率コンピューティングの側面とその決定論的変異を組み合わせ,同様の効率で計算を行え,バイアスがなく,分散とMSEも最適な$\Theta(\frac{1}{N^2})$で処理できるディザ・コンピューティング(Dither Computing)という別のフレームワークを提案した。
また、確率的丸めアプリケーションでも有益であることも示しています。
提案手法の利点を比較検討するために,実装の詳細と実験結果を提供する。
関連論文リスト
- Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳（メタデータ） (2023-10-18T10:29:58Z) - Sparse Gaussian Graphical Models with Discrete Optimization:
Computational and Statistical Perspectives [8.403841349300103]
本研究では,無向ガウス図形モデルに基づくスパースグラフの学習問題を考察する。
擬似微分関数の $ell_0$-penalized バージョンに基づく新しい推定器 GraphL0BnB を提案する。
実/合成データセットに関する数値実験により,本手法がほぼ最適に,p = 104$の問題を解けることが示唆された。
論文 参考訳（メタデータ） (2023-07-18T15:49:02Z) - An Oblivious Stochastic Composite Optimization Algorithm for Eigenvalue
Optimization Problems [76.2042837251496]
相補的な合成条件に基づく2つの難解なミラー降下アルゴリズムを導入する。
注目すべきは、どちらのアルゴリズムも、目的関数のリプシッツ定数や滑らかさに関する事前の知識なしで機能する。
本稿では,大規模半確定プログラム上での手法の効率性とロバスト性を示す。
論文 参考訳（メタデータ） (2023-06-30T08:34:29Z) - Provable benefits of score matching [30.317535687908755]
スコアマッチング損失が計算効率良く最適化できるような分布の自然指数族の最初の例を示す。
確率損失を最適化するためのゼロ階または1階のオラクルの設計はNPハードであることを示す。
スコアマッチング損失の最小化は、計算的かつ統計的に効率的であり、周囲の次元は複雑である。
論文 参考訳（メタデータ） (2023-06-03T03:42:30Z) - Pitfalls of Gaussians as a noise distribution in NCE [22.23473249312549]
ノイズコントラスト推定(NCE)は,比例定数までパラメータ化された確率密度関数を学習するための一般的な手法である。
我々は、$q$の選択がNCEの計算効率と統計効率に大きな影響を及ぼすことを示した。
論文 参考訳（メタデータ） (2022-10-01T04:42:56Z) - Efficient One Sided Kolmogorov Approximation [7.657378889055477]
本研究の主な応用は, 時系列並列スケジュールにおいて, 欠落する確率を推定することである。
これらの確率の正確な計算はNPハードであるため,本論文で記述したアルゴリズムを用いて近似を求める。
論文 参考訳（メタデータ） (2022-07-14T10:03:02Z) - Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
制約付き非線形最適化問題のオンライン統計的推測を考察する。
これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
論文 参考訳（メタデータ） (2022-05-27T00:34:03Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:51:10Z) - List-Decodable Mean Estimation in Nearly-PCA Time [50.79691056481693]
高次元におけるリストデコタブル平均推定の基本的な課題について検討する。
我々のアルゴリズムは、すべての$k = O(sqrtd) cup Omega(d)$に対して$widetildeO(ndk)$で実行されます。
我々のアルゴリズムの変種は、すべての$k$に対してランタイム$widetildeO(ndk)$を持ち、リカバリ保証の$O(sqrtlog k)$ Factorを犠牲にしている。
論文 参考訳（メタデータ） (2020-11-19T17:21:37Z) - Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。
本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。
ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
論文 参考訳（メタデータ） (2020-06-11T19:40:38Z) - Quadruply Stochastic Gaussian Processes [10.152838128195466]
本稿では,スケーラブルなガウス過程(GP)モデルをトレーニングするための変分推論手法を提案する。この手法は,トレーニング点数,$n$,カーネル近似で使用される数基底関数,$m$のいずれにも依存しない。
GPと関連ベクトルマシンを用いた大規模分類および回帰データセットの精度を,最大で$m = 107$の基底関数で示す。
論文 参考訳（メタデータ） (2020-06-04T17:06:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。