論文の概要: Deep Learning Training with Simulated Approximate Multipliers

• arxiv url: http://arxiv.org/abs/2001.00060v2
• Date: Sat, 18 Apr 2020 13:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-10 07:52:25.742225
• Title: Deep Learning Training with Simulated Approximate Multipliers
• Title（参考訳）: 近似乗算器を用いたディープラーニング学習
• Authors: Issam Hammad, Kamal El-Sankary, and Jason Gu
• Abstract要約: 本稿では、畳み込みニューラルネットワーク(CNN)のトレーニング性能を高めるために、近似乗算器をどのように利用できるかを示す。 トレーニング段階の大部分において、速度、パワー、面積の点で近似乗算器の性能上の利点が得られる。 一方、トレーニングの最終段階の正確な乗算器を用いることで、精度に対する負の影響が減少する。
• 参考スコア（独自算出の注目度）: 4.115297590661754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents by simulation how approximate multipliers can be utilized to enhance the training performance of convolutional neural networks (CNNs). Approximate multipliers have significantly better performance in terms of speed, power, and area compared to exact multipliers. However, approximate multipliers have an inaccuracy which is defined in terms of the Mean Relative Error (MRE). To assess the applicability of approximate multipliers in enhancing CNN training performance, a simulation for the impact of approximate multipliers error on CNN training is presented. The paper demonstrates that using approximate multipliers for CNN training can significantly enhance the performance in terms of speed, power, and area at the cost of a small negative impact on the achieved accuracy. Additionally, the paper proposes a hybrid training method which mitigates this negative impact on the accuracy. Using the proposed hybrid method, the training can start using approximate multipliers then switches to exact multipliers for the last few epochs. Using this method, the performance benefits of approximate multipliers in terms of speed, power, and area can be attained for a large portion of the training stage. On the other hand, the negative impact on the accuracy is diminished by using the exact multipliers for the last epochs of training.
• Abstract（参考訳）: 本稿では,畳み込みニューラルネットワーク(cnns)のトレーニング性能を向上させるために,近似乗算器をいかに活用できるかをシミュレーションする。 近似乗算器は、正確な乗算器に比べて、速度、電力、面積の点で著しく優れた性能を持つ。 しかし、近似乗算器は平均相対誤差(MRE)で定義される不正確性を持つ。 CNNトレーニング性能向上における近似乗算器の適用性を評価するため,CNNトレーニングにおける近似乗算器誤差の影響をシミュレーションした。 本稿は,CNNトレーニングに近似乗算器を用いることで,達成した精度に負の影響が小さいコストで,速度,パワー,面積の面で性能を著しく向上できることを実証する。 さらに,本論文では,この精度への影響を緩和するハイブリッドトレーニング手法を提案する。 提案するハイブリッド手法を用いて,近似乗算器を使い始めて,最後の数エポックの正確な乗算器に切り替える。 この手法を用いることで、トレーニング段階の大部分において、速度、電力、面積の観点から近似乗算器の性能上の利点が得られる。 一方,訓練の最後の時間に正確な乗算器を使用することで,精度に対する負の影響は減少する。

関連論文リスト

• Grad-Instructor: Universal Backpropagation with Explainable Evaluation Neural Networks for Meta-learning and AutoML [0.0]
  評価ニューラルネットワーク(ENN)は、ターゲットネットワークの性能を予測するために、深層強化学習を通じて訓練される。 ENNは、バックプロパゲーション中に追加評価機能として機能する。
  論文  参考訳（メタデータ） (2024-06-15T08:37:51Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• ApproxTrain: Fast Simulation of Approximate Multipliers for DNN Training and Inference [4.386709201336175]
  ハードウェア近似は、推論加速器の資源効率向上に有効であることを示した。 本稿では,擬似近似乗算器を用いたトレーニング推論を高速に評価できるオープンソースのフレームワークであるApproxTrainを提案する。
  論文  参考訳（メタデータ） (2022-09-09T07:42:05Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
  本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。 提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。 以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-26T21:15:17Z)
• Boost Neural Networks by Checkpoints [9.411567653599358]
  本稿では,ディープニューラルネットワーク(DNN)のチェックポイントをアンサンブルする新しい手法を提案する。 同じトレーニング予算で,Cifar-100では4.16%,Tiny-ImageNetでは6.96%,ResNet-110アーキテクチャでは6.96%の誤差を達成した。
  論文  参考訳（メタデータ） (2021-10-03T09:14:15Z)
• Efficient Estimation of Influence of a Training Instance [56.29080605123304]
  本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
  論文  参考訳（メタデータ） (2020-12-08T04:31:38Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• The Effects of Approximate Multiplication on Convolutional Neural Networks [5.754607410217063]
  本稿では,深部畳み込みニューラルネットワーク(CNN)における近似乗法の効果を解析する。 この近似乗算により、ハードウェアアクセラレーターにおいてCNN推論をより効率的に行えるように、基盤回路のコストを削減できる。
  論文  参考訳（メタデータ） (2020-07-20T21:52:41Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)
• Dithered backprop: A sparse and quantized backpropagation algorithm for more efficient deep neural network training [18.27946970159625]
  ディザド・バックプロップと名付けたバックプロップの計算コストを削減する手法を提案する。 本手法は,8ビットまでのトレーニングのビット精度を低下させる,最先端のトレーニング手法と完全互換であることを示す。
  論文  参考訳（メタデータ） (2020-04-09T17:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。