Fugu-MT 論文翻訳(概要): Combining Gradients and Probabilities for Heterogeneous Approximation of Neural Networks

論文の概要: Combining Gradients and Probabilities for Heterogeneous Approximation of Neural Networks

arxiv url: http://arxiv.org/abs/2208.07265v1
Date: Mon, 15 Aug 2022 15:17:34 GMT
ステータス: 処理完了
システム内更新日: 2022-08-16 14:27:59.952908
Title: Combining Gradients and Probabilities for Heterogeneous Approximation of Neural Networks
Title（参考訳）: ニューラルネットワークの不均一近似に対する勾配と確率の組合せ
Authors: Elias Trommer, Bernd Waschneck, Akash Kumar
Abstract要約: 近似乗算器の挙動シミュレーションのための代理モデルとして,加法的ガウス雑音の有効性について検討する。バックプロパゲーションを用いたネットワークトレーニングにおいて、正確な計算に注入されるノイズの量について学習する。実験により,不均一近似とニューラルネットワーク再学習の組み合わせは,変種に対するエネルギー消費を減少させることが示された。
参考スコア（独自算出の注目度）: 2.5744053804694893
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work explores the search for heterogeneous approximate multiplier configurations for neural networks that produce high accuracy and low energy consumption. We discuss the validity of additive Gaussian noise added to accurate neural network computations as a surrogate model for behavioral simulation of approximate multipliers. The continuous and differentiable properties of the solution space spanned by the additive Gaussian noise model are used as a heuristic that generates meaningful estimates of layer robustness without the need for combinatorial optimization techniques. Instead, the amount of noise injected into the accurate computations is learned during network training using backpropagation. A probabilistic model of the multiplier error is presented to bridge the gap between the domains; the model estimates the standard deviation of the approximate multiplier error, connecting solutions in the additive Gaussian noise space to actual hardware instances. Our experiments show that the combination of heterogeneous approximation and neural network retraining reduces the energy consumption for multiplications by 70% to 79% for different ResNet variants on the CIFAR-10 dataset with a Top-1 accuracy loss below one percentage point. For the more complex Tiny ImageNet task, our VGG16 model achieves a 53 % reduction in energy consumption with a drop in Top-5 accuracy of 0.5 percentage points. We further demonstrate that our error model can predict the parameters of an approximate multiplier in the context of the commonly used additive Gaussian noise (AGN) model with high accuracy. Our software implementation is available under https://github.com/etrommer/agn-approx.
Abstract（参考訳）: 本研究は,高い精度と低エネルギー消費を実現するニューラルネットワークの異種近似乗算器構成の探索について検討する。本稿では, 近似乗算器の挙動シミュレーションのための代理モデルとして, 正確なニューラルネットワーク計算に付加される付加型ガウス雑音の有効性について論じる。加法ガウス雑音モデルによる解空間の連続的かつ微分可能特性は、組合せ最適化手法を必要とせず、有意義な層ロバスト性の推定を生成するヒューリスティックとして用いられる。代わりに、バックプロパゲーションを用いてネットワークトレーニング中に正確な計算に注入されるノイズ量を学ぶ。モデルでは、近似乗算器誤差の標準偏差を推定し、加法ガウス雑音空間の解を実際のハードウェアインスタンスに接続する。実験により,不均一近似とニューラルネットワーク再学習の組み合わせにより,CIFAR-10データセット上の異なるResNet変種に対する乗算のエネルギー消費が70%から79%減少し,Top-1精度損失が1ポイント以下であることが確認された。より複雑なTiny ImageNetタスクでは、VGG16モデルは53%のエネルギー消費削減を実現し、Top-5の精度は0.5ポイント低下した。さらに,我々の誤差モデルでは,よく用いられる加法的ガウス雑音(AGN)モデルの文脈で近似乗算器のパラメータを高精度に予測できることを示した。私たちのソフトウェア実装はhttps://github.com/etrommer/agn-approxで利用可能です。

関連論文リスト

Deep Feature Response Discriminative Calibration [37.81540706307031]
ResNetやSENetのような最適化技術は、モデルの精度を改善するために提案されている。異なる特徴に対する差別的なキャリブレーションが欠如しているため、モデル出力に制限が生じる。特徴応答を識別的に分類する手法を提案する。
論文参考訳（メタデータ） (2024-11-16T10:48:32Z)
Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection [11.729744197698718]
有限幅と深さのニューラルネットワークを近似するアルゴリズム的枠組みを提案する。ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似する。我々の結果は、ニューラルネットワークの予測を理解するための重要なステップである。
論文参考訳（メタデータ） (2024-07-26T12:45:53Z)
Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文参考訳（メタデータ） (2024-04-06T21:33:39Z)
Geometry-Informed Neural Operator for Large-Scale 3D PDEs [76.06115572844882]
大規模偏微分方程式の解演算子を学習するために,幾何インフォームド・ニューラル演算子(GINO)を提案する。我々はGINOを訓練し、わずか500点のデータポイントで車両表面の圧力を予測することに成功した。
論文参考訳（メタデータ） (2023-09-01T16:59:21Z)
Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文参考訳（メタデータ） (2023-07-27T17:42:06Z)
Automatic Network Adaptation for Ultra-Low Uniform-Precision Quantization [6.1664476076961146]
一様精度ニューラルネットワーク量子化は、高計算能力のために高密度に充填された演算ユニットを単純化したため、人気を集めている。層間の量子化誤差の影響に対して不均一な感度を無視し、結果として準最適推論をもたらす。本研究は,超低精度量子化による精度劣化を軽減するために,ニューラルネットワーク構造を調整するニューラルチャネル拡張と呼ばれる新しいニューラルアーキテクチャ探索を提案する。
論文参考訳（メタデータ） (2022-12-21T09:41:25Z)
Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文参考訳（メタデータ） (2022-11-22T15:08:05Z)
SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文参考訳（メタデータ） (2021-06-10T04:21:20Z)
ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文参考訳（メタデータ） (2021-05-07T11:39:05Z)
A Bayesian regularization-backpropagation neural network model for peeling computations [0.0]
入力データは有限要素(FE)剥離結果から取得される。ニューラルネットワークは、FEデータセットの75%でトレーニングされる。 BR-BPNNモデルとk-fold法を併用することにより,剥離挙動を推定できる可能性が示唆された。
論文参考訳（メタデータ） (2020-06-29T21:58:43Z)
Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。