論文の概要: Hardware-Centric AutoML for Mixed-Precision Quantization

• arxiv url: http://arxiv.org/abs/2008.04878v1
• Date: Tue, 11 Aug 2020 17:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 10:55:55.792200
• Title: Hardware-Centric AutoML for Mixed-Precision Quantization
• Title（参考訳）: 混合精度量子化のためのハードウェア中心オートML
• Authors: Kuan Wang, Zhijian Liu, Yujun Lin, Ji Lin, Song Han
• Abstract要約: 従来の量子化アルゴリズムは、異なるハードウェアアーキテクチャを無視し、すべてのレイヤを均一に量子化する。 本稿では、強化学習を利用して量子化ポリシーを自動的に決定するハードウェア・アウェア自動量子化(HAQ)フレームワークを紹介する。 本フレームワークは, 固定ビット幅(8ビット)の量子化と比較して, 遅延を1.4-1.95x, エネルギー消費を1.9x削減した。
• 参考スコア（独自算出の注目度）: 34.39845532939529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model quantization is a widely used technique to compress and accelerate deep neural network (DNN) inference. Emergent DNN hardware accelerators begin to support mixed precision (1-8 bits) to further improve the computation efficiency, which raises a great challenge to find the optimal bitwidth for each layer: it requires domain experts to explore the vast design space trading off among accuracy, latency, energy, and model size, which is both time-consuming and sub-optimal. Conventional quantization algorithm ignores the different hardware architectures and quantizes all the layers in a uniform way. In this paper, we introduce the Hardware-Aware Automated Quantization (HAQ) framework which leverages the reinforcement learning to automatically determine the quantization policy, and we take the hardware accelerator's feedback in the design loop. Rather than relying on proxy signals such as FLOPs and model size, we employ a hardware simulator to generate direct feedback signals (latency and energy) to the RL agent. Compared with conventional methods, our framework is fully automated and can specialize the quantization policy for different neural network architectures and hardware architectures. Our framework effectively reduced the latency by 1.4-1.95x and the energy consumption by 1.9x with negligible loss of accuracy compared with the fixed bitwidth (8 bits) quantization. Our framework reveals that the optimal policies on different hardware architectures (i.e., edge and cloud architectures) under different resource constraints (i.e., latency, energy, and model size) are drastically different. We interpreted the implication of different quantization policies, which offer insights for both neural network architecture design and hardware architecture design.
• Abstract（参考訳）: モデル量子化は、ディープニューラルネットワーク(DNN)推論の圧縮と高速化に広く用いられている手法である。 創発的なDNNハードウェアアクセラレータは、計算効率をさらに向上するために、混合精度(1～8ビット)をサポートし始めており、各レイヤに最適なビット幅を見つけるには、大きな課題が生じる。 従来の量子化アルゴリズムは異なるハードウェアアーキテクチャを無視し、全ての層を統一的に量子化する。 本稿では、強化学習を利用して量子化ポリシーを自動的に決定するハードウェア・アウェア自動量子化(HAQ)フレームワークを紹介し、ハードウェアアクセラレーションのフィードバックを設計ループに取り入れる。 FLOPやモデルサイズなどのプロキシ信号に頼るのではなく、ハードウェアシミュレータを用いてRLエージェントへの直接フィードバック信号(レイテンシとエネルギー)を生成する。 従来の手法と比較して、フレームワークは完全に自動化され、異なるニューラルネットワークアーキテクチャとハードウェアアーキテクチャの量子化ポリシーを専門化することができる。 本フレームワークは, 固定ビット幅(8ビット)の量子化と比較して, 遅延を1.4-1.95x, エネルギー消費を1.9x削減した。 我々のフレームワークは、異なるリソース制約(レイテンシ、エネルギー、モデルサイズ)の下で異なるハードウェアアーキテクチャ(エッジとクラウドアーキテクチャ)に対する最適なポリシーが劇的に異なることを明らかにしている。 我々は、ニューラルネットワークアーキテクチャ設計とハードウェアアーキテクチャ設計の両方に洞察を提供する、異なる量子化ポリシーの含意を解釈した。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Quasar-ViT: Hardware-Oriented Quantization-Aware Architecture Search for Vision Transformers [56.37495946212932]
  視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、コンピュータビジョンタスクにおいて優れた精度を示す。 ハードウェア指向の量子化対応アーキテクチャ検索フレームワークであるQuasar-ViTを提案する。
  論文  参考訳（メタデータ） (2024-07-25T16:35:46Z)
• Quantization of Deep Neural Networks to facilitate self-correction of weights on Phase Change Memory-based analog hardware [0.0]
  乗法重みの集合を近似するアルゴリズムを開発する。 これらの重みは、性能の損失を最小限に抑えながら、元のネットワークの重みを表現することを目的としている。 その結果、オンチップパルス発生器と組み合わせると、私たちの自己補正ニューラルネットワークはアナログ認識アルゴリズムで訓練されたものと同等に機能することがわかった。
  論文  参考訳（メタデータ） (2023-09-30T10:47:25Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• HQNAS: Auto CNN deployment framework for joint quantization and architecture search [30.45926484863791]
  ハードウェア対応量子化ニューラルネットワーク探索(HQNAS)と呼ばれる新しいニューラルネットワーク設計フレームワークを提案する。 CIFAR10の優れたNNポリシーを見つけるのにわずか4時間しかかからない。 また、Imagenetで同等のモデルを生成するのに10パーセントのGPU時間しかかからない。
  論文  参考訳（メタデータ） (2022-10-16T08:32:18Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Reconfigurable co-processor architecture with limited numerical precision to accelerate deep convolutional neural networks [0.38848561367220275]
  畳み込みニューラルネットワーク(CNN)は、視覚システムやロボット工学などのディープラーニングアプリケーションで広く使われている。 本稿では,CNNを高速化するために,モデルに依存しない再構成可能なコプロセッシングアーキテクチャを提案する。 既存の解とは対照的に、算術表現や演算のための限定精度32bit Q-format固定点量子化を導入する。
  論文  参考訳（メタデータ） (2021-08-21T09:50:54Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)
• Learned Hardware/Software Co-Design of Neural Accelerators [20.929918108940093]
  ディープラーニングソフトウェアスタックとハードウェアアクセラレータは多様で広大な。 以前の作業では、ハードウェアアーキテクチャとは別途ソフトウェア最適化を検討し、検索スペースを効果的に削減した。 本稿では,ハードウェア/ソフトウェアの共同設計として,共同設計空間における望ましい点を自動的に識別することを目的としている。
  論文  参考訳（メタデータ） (2020-10-05T15:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。