論文の概要: AdaPT: Fast Emulation of Approximate DNN Accelerators in PyTorch

• arxiv url: http://arxiv.org/abs/2203.04071v1
• Date: Tue, 8 Mar 2022 13:31:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-09 16:10:48.959410
• Title: AdaPT: Fast Emulation of Approximate DNN Accelerators in PyTorch
• Title（参考訳）: AdaPT: PyTorchにおける近似DNN加速器の高速エミュレーション
• Authors: Dimitrios Danopoulos, Georgios Zervakis, Kostas Siozios, Dimitrios Soudris, J\"org Henkel
• Abstract要約: 我々は PyTorch を拡張した高速エミュレーションフレームワーク AdaPT を提案する。 ビット幅の異なる多数の近似乗算器に対して, CNN, LSTM, GANを含むいくつかのDNNモデルおよびアプリケーションフィールド上でのフレームワークの評価を行った。 その結果、近似的な再学習からかなりの誤差回復と、ベースライン近似実装に関する推論時間を最大53.9倍に短縮した。
• 参考スコア（独自算出の注目度）: 4.445835362642506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current state-of-the-art employs approximate multipliers to address the highly increased power demands of DNN accelerators. However, evaluating the accuracy of approximate DNNs is cumbersome due to the lack of adequate support for approximate arithmetic in DNN frameworks. We address this inefficiency by presenting AdaPT, a fast emulation framework that extends PyTorch to support approximate inference as well as approximation-aware retraining. AdaPT can be seamlessly deployed and is compatible with the most DNNs. We evaluate the framework on several DNN models and application fields including CNNs, LSTMs, and GANs for a number of approximate multipliers with distinct bitwidth values. The results show substantial error recovery from approximate re-training and reduced inference time up to 53.9x with respect to the baseline approximate implementation.
• Abstract（参考訳）: 現在の最先端技術では、DNN加速器の高度に増大する電力需要に対応するために近似乗数を用いる。 しかし、DNNフレームワークで近似演算が適切にサポートされていないため、近似DNNの精度を評価することは困難である。 我々は、近似推論と近似認識の再トレーニングをサポートするためにpytorchを拡張した高速エミュレーションフレームワークであるadaptを提案することで、この非効率に対処する。 AdaPTはシームレスにデプロイでき、ほとんどのDNNと互換性がある。 ビット幅の異なる多数の近似乗算器に対して, CNN, LSTM, GANを含むいくつかのDNNモデルおよびアプリケーションフィールド上でフレームワークを評価する。 その結果、ベースライン近似実装に関して、近似再訓練による実質的なエラー回復と推論時間を53.9倍に短縮した。

関連論文リスト

• Scalable Subsampling Inference for Deep Neural Networks [0.0]
  完全連結DNN推定器の性能を測定するために,非漸近誤差境界が開発された。 非ランダムなサブサンプリング手法--scalable subsampling-を応用し、サブタグ付きDNN推定器を構築する。 提案された信頼/予測間隔は有限サンプルでうまく機能しているように見える。
  論文  参考訳（メタデータ） (2024-05-14T02:11:38Z)
• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• Automated machine learning for borehole resistivity measurements [0.0]
  ディープニューラルネットワーク(DNN)は、ボアホール比抵抗測定の反転のためのリアルタイムソリューションを提供する。 非常に大きなDNNを使って演算子を近似することができるが、かなりの訓練時間を必要とする。 本研究では,DNNの精度とサイズを考慮したスコアリング機能を提案する。
  論文  参考訳（メタデータ） (2022-07-20T12:27:22Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Hardware Approximate Techniques for Deep Neural Network Accelerators: A Survey [4.856755747052137]
  Deep Neural Networks(DNN)は非常に人気があり、機械学習(ML)における様々な認知タスクのパフォーマンスが高い。 近年のDNNの進歩は多くのタスクにおいて人間の精度を超えたが、計算の複雑さのコストがかかる。 本稿では,DNN加速器のハードウェア近似技術に関する包括的調査と解析を行う。
  論文  参考訳（メタデータ） (2022-03-16T16:33:13Z)
• Two-Timescale End-to-End Learning for Channel Acquisition and Hybrid Precoding [94.40747235081466]
  本研究では,ミリ波(mmWave)大規模マルチインプット多重出力(MIMO)システムのためのエンドツーエンドの深層学習に基づくジョイントトランスシーバ設計アルゴリズムを提案する。 我々は受信したパイロットを受信機でフィードバックビットにマッピングし、さらに送信機でハイブリッドプリコーダにフィードバックビットをマッピングするDNNアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2021-10-22T20:49:02Z)
• Positive/Negative Approximate Multipliers for DNN Accelerators [3.1921317895626493]
  本稿では,重みを近似乗算器の適切なモードにマッピングするフィルタ指向近似法を提案する。 提案手法では,4つの異なるデータセット上で平均7つのNNで18.33%のエネルギーゲインを達成し,最大精度の低下は1%に留まった。
  論文  参考訳（メタデータ） (2021-07-20T09:36:24Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
  本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。 DNNトレーニングのための軽量加速器であるTaxoNNを提案する。 実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
  論文  参考訳（メタデータ） (2020-10-11T09:04:19Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。