論文の概要: Training Integer-Only Deep Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2212.11791v1
• Date: Thu, 22 Dec 2022 15:22:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 13:51:36.720388
• Title: Training Integer-Only Deep Recurrent Neural Networks
• Title（参考訳）: 整数のみのディープリカレントニューラルネットワークのトレーニング
• Authors: Vahid Partovi Nia, Eyy\"ub Sari, Vanessa Courville, Masoud Asgharian
• Abstract要約: 精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 本手法は, 層正規化, 注意, アクティベーション関数の適応的片方向線形(PWL)近似をサポートする。 提案手法により,RNNベースの言語モデルでエッジデバイス上で実行可能である。
• 参考スコア（独自算出の注目度）: 3.1829446824051195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent neural networks (RNN) are the backbone of many text and speech applications. These architectures are typically made up of several computationally complex components such as; non-linear activation functions, normalization, bi-directional dependence and attention. In order to maintain good accuracy, these components are frequently run using full-precision floating-point computation, making them slow, inefficient and difficult to deploy on edge devices. In addition, the complex nature of these operations makes them challenging to quantize using standard quantization methods without a significant performance drop. We present a quantization-aware training method for obtaining a highly accurate integer-only recurrent neural network (iRNN). Our approach supports layer normalization, attention, and an adaptive piecewise linear (PWL) approximation of activation functions, to serve a wide range of state-of-the-art RNNs. The proposed method enables RNN-based language models to run on edge devices with $2\times$ improvement in runtime, and $4\times$ reduction in model size while maintaining similar accuracy as its full-precision counterpart.
• Abstract（参考訳）: recurrent neural networks (rnn)は、多くのテキストや音声アプリケーションのバックボーンである。 これらのアーキテクチャは典型的には、非線形アクティベーション関数、正規化、双方向依存、注意といった、計算学的に複雑なコンポーネントで構成されている。 正確な精度を維持するために、これらのコンポーネントはフル精度の浮動小数点演算を用いて頻繁に実行されるため、エッジデバイスへのデプロイが遅く、非効率で困難である。 さらに、これらの操作の複雑な性質は、パフォーマンスの大幅な低下を伴わずに標準量子化法を用いて量子化することを困難にしている。 精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 本手法は, 階層正規化, 注意, アクティベーション関数の適応的片方向線形近似(PWL)をサポートし, 幅広い最先端のRNNを実現する。 提案手法により,RNNベースの言語モデルをエッジデバイス上で実行可能とし,実行時の改善が2ドル,モデルサイズが4ドル,完全精度が4ドルであった。

関連論文リスト

• Quantized Approximately Orthogonal Recurrent Neural Networks [6.524758376347808]
  ORNNにおける重み行列の量子化を探求し、ほぼ直交RNN(QORNN)を量子化する。 本稿では,量子化学習(QAT)と計算予測を組み合わせた2つのQORNN学習手法を提案する。 最も効率的なモデルは、4ビットの量子化であっても、様々な標準ベンチマークで最先端のフル精度ORNN、LSTM、FastRNNと同様の結果が得られる。
  論文  参考訳（メタデータ） (2024-02-05T09:59:57Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
  精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
  論文  参考訳（メタデータ） (2021-09-20T20:17:40Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• On the quantization of recurrent neural networks [9.549757800469196]
  ニューラルネットワークの量子化は、標準ニューラルネットワーク公式の高精度計算の近似として定義することができる。 本稿では,Long Short-Term Memory (LSTM) ニューラルネットワークトポロジに対する整数のみの量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-14T04:25:08Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• Lossless Compression of Deep Neural Networks [17.753357839478575]
  ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。 モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。 生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-01-01T15:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。