論文の概要: Combining Gradients and Probabilities for Heterogeneous Approximation of
Neural Networks
- arxiv url: http://arxiv.org/abs/2208.07265v1
- Date: Mon, 15 Aug 2022 15:17:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 14:27:59.952908
- Title: Combining Gradients and Probabilities for Heterogeneous Approximation of
Neural Networks
- Title(参考訳): ニューラルネットワークの不均一近似に対する勾配と確率の組合せ
- Authors: Elias Trommer, Bernd Waschneck, Akash Kumar
- Abstract要約: 近似乗算器の挙動シミュレーションのための代理モデルとして,加法的ガウス雑音の有効性について検討する。
バックプロパゲーションを用いたネットワークトレーニングにおいて、正確な計算に注入されるノイズの量について学習する。
実験により,不均一近似とニューラルネットワーク再学習の組み合わせは,変種に対するエネルギー消費を減少させることが示された。
- 参考スコア(独自算出の注目度): 2.5744053804694893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work explores the search for heterogeneous approximate multiplier
configurations for neural networks that produce high accuracy and low energy
consumption. We discuss the validity of additive Gaussian noise added to
accurate neural network computations as a surrogate model for behavioral
simulation of approximate multipliers. The continuous and differentiable
properties of the solution space spanned by the additive Gaussian noise model
are used as a heuristic that generates meaningful estimates of layer robustness
without the need for combinatorial optimization techniques. Instead, the amount
of noise injected into the accurate computations is learned during network
training using backpropagation. A probabilistic model of the multiplier error
is presented to bridge the gap between the domains; the model estimates the
standard deviation of the approximate multiplier error, connecting solutions in
the additive Gaussian noise space to actual hardware instances. Our experiments
show that the combination of heterogeneous approximation and neural network
retraining reduces the energy consumption for multiplications by 70% to 79% for
different ResNet variants on the CIFAR-10 dataset with a Top-1 accuracy loss
below one percentage point. For the more complex Tiny ImageNet task, our VGG16
model achieves a 53 % reduction in energy consumption with a drop in Top-5
accuracy of 0.5 percentage points. We further demonstrate that our error model
can predict the parameters of an approximate multiplier in the context of the
commonly used additive Gaussian noise (AGN) model with high accuracy. Our
software implementation is available under
https://github.com/etrommer/agn-approx.
- Abstract(参考訳): 本研究は,高い精度と低エネルギー消費を実現するニューラルネットワークの異種近似乗算器構成の探索について検討する。
本稿では, 近似乗算器の挙動シミュレーションのための代理モデルとして, 正確なニューラルネットワーク計算に付加される付加型ガウス雑音の有効性について論じる。
加法ガウス雑音モデルによる解空間の連続的かつ微分可能特性は、組合せ最適化手法を必要とせず、有意義な層ロバスト性の推定を生成するヒューリスティックとして用いられる。
代わりに、バックプロパゲーションを用いてネットワークトレーニング中に正確な計算に注入されるノイズ量を学ぶ。
モデルでは、近似乗算器誤差の標準偏差を推定し、加法ガウス雑音空間の解を実際のハードウェアインスタンスに接続する。
実験により,不均一近似とニューラルネットワーク再学習の組み合わせにより,CIFAR-10データセット上の異なるResNet変種に対する乗算のエネルギー消費が70%から79%減少し,Top-1精度損失が1ポイント以下であることが確認された。
より複雑なTiny ImageNetタスクでは、VGG16モデルは53%のエネルギー消費削減を実現し、Top-5の精度は0.5ポイント低下した。
さらに,我々の誤差モデルでは,よく用いられる加法的ガウス雑音(AGN)モデルの文脈で近似乗算器のパラメータを高精度に予測できることを示した。
私たちのソフトウェア実装はhttps://github.com/etrommer/agn-approxで利用可能です。
関連論文リスト
- Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。
本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。
スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文 参考訳(メタデータ) (2024-04-06T21:33:39Z) - Neural Operator Variational Inference based on Regularized Stein
Discrepancy for Deep Gaussian Processes [23.87733307119697]
本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。
NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。
提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
論文 参考訳(メタデータ) (2023-09-22T06:56:35Z) - Geometry-Informed Neural Operator for Large-Scale 3D PDEs [76.06115572844882]
大規模偏微分方程式の解演算子を学習するために,幾何インフォームド・ニューラル演算子(GINO)を提案する。
我々はGINOを訓練し、わずか500点のデータポイントで車両表面の圧力を予測することに成功した。
論文 参考訳(メタデータ) (2023-09-01T16:59:21Z) - Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。
提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文 参考訳(メタデータ) (2023-07-27T17:42:06Z) - Automatic Network Adaptation for Ultra-Low Uniform-Precision
Quantization [6.1664476076961146]
一様精度ニューラルネットワーク量子化は、高計算能力のために高密度に充填された演算ユニットを単純化したため、人気を集めている。
層間の量子化誤差の影響に対して不均一な感度を無視し、結果として準最適推論をもたらす。
本研究は,超低精度量子化による精度劣化を軽減するために,ニューラルネットワーク構造を調整するニューラルチャネル拡張と呼ばれる新しいニューラルアーキテクチャ探索を提案する。
論文 参考訳(メタデータ) (2022-12-21T09:41:25Z) - Faithful Heteroscedastic Regression with Neural Networks [2.2835610890984164]
パラメータマップにニューラルネットワークを使用するパラメトリックメソッドは、データ内の複雑な関係をキャプチャすることができる。
ヘテロスセダティックなモデルを生成するために最適化に2つの簡単な修正を加え、ホモスセダティックなモデルとほぼ同等の精度で推定する。
提案手法は,等しくフレキシブルな平均値のみのモデルの精度を維持しつつ,クラスごとの分散キャリブレーションも提供する。
論文 参考訳(メタデータ) (2022-12-18T22:34:42Z) - Fast Exploration of the Impact of Precision Reduction on Spiking Neural
Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。
我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文 参考訳(メタデータ) (2022-11-22T15:08:05Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳(メタデータ) (2021-06-10T04:21:20Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳(メタデータ) (2021-05-07T11:39:05Z) - A Bayesian regularization-backpropagation neural network model for
peeling computations [0.0]
入力データは有限要素(FE)剥離結果から取得される。
ニューラルネットワークは、FEデータセットの75%でトレーニングされる。
BR-BPNNモデルとk-fold法を併用することにより,剥離挙動を推定できる可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-29T21:58:43Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳(メタデータ) (2020-06-02T11:17:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。