論文の概要: Quantized Approximately Orthogonal Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2402.04012v1
• Date: Mon, 5 Feb 2024 09:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 14:43:41.826032
• Title: Quantized Approximately Orthogonal Recurrent Neural Networks
• Title（参考訳）: 近似直交リカレントニューラルネットワークの量子化
• Authors: Armand Foucault (IMT), Franck Mamalet (UT), Fran\c{c}ois Malgouyres (IMT)
• Abstract要約: 我々は、ORNNにおける繰り返しおよび入力重み行列の量子化を探求し、量子化されたほぼ直交RNN(QORNN)を導く。 最も効率的なモデルは、3ビット量子化であっても、様々な標準ベンチマークにおける最先端のフル精度ORNNやLSTMと同様の結果が得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Orthogonal recurrent neural networks (ORNNs) are an appealing option for learning tasks involving time series with long-term dependencies, thanks to their simplicity and computational stability. However, these networks often require a substantial number of parameters to perform well, which can be prohibitive in power-constrained environments, such as compact devices. One approach to address this issue is neural network quantization. The construction of such networks remains an open problem, acknowledged for its inherent instability.In this paper, we explore the quantization of the recurrent and input weight matrices in ORNNs, leading to Quantized approximately Orthogonal RNNs (QORNNs). We investigate one post-training quantization (PTQ) strategy and three quantization-aware training (QAT) algorithms that incorporate orthogonal constraints and quantized weights. Empirical results demonstrate the advantages of employing QAT over PTQ. The most efficient model achieves results similar to state-of-the-art full-precision ORNN and LSTM on a variety of standard benchmarks, even with 3-bits quantization.
• Abstract（参考訳）: 直交リカレントニューラルネットワーク(ornn)は、単純さと計算安定性のおかげで、長期的な依存関係を持つ時系列を含むタスクを学習するための魅力的な選択肢である。 しかし、これらのネットワークはよく機能するためにかなりの数のパラメータを必要とすることが多く、コンパクトデバイスのような電力制約のある環境では禁止される。 この問題に対処するアプローチのひとつは、ニューラルネットワークの量子化だ。 本稿では, ORNNにおける繰り返しおよび入力重み行列の量子化について検討し, ほぼ直交RNN(QORNN)の量子化を導いた。 学習後量子化(ptq)戦略と,直交制約と量子化重みを組み込んだ3つの量子化アウェアトレーニング(qat)アルゴリズムについて検討した。 実証的な結果は、PTQよりもQATを使うことの利点を示している。 最も効率的なモデルは、3ビット量子化であっても、様々な標準ベンチマークにおける最先端のフル精度ORNNやLSTMと同様の結果が得られる。

関連論文リスト

• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Training Integer-Only Deep Recurrent Neural Networks [3.1829446824051195]
  精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 本手法は, 層正規化, 注意, アクティベーション関数の適応的片方向線形(PWL)近似をサポートする。 提案手法により,RNNベースの言語モデルでエッジデバイス上で実行可能である。
  論文  参考訳（メタデータ） (2022-12-22T15:22:36Z)
• QVIP: An ILP-based Formal Verification Approach for Quantized Neural Networks [14.766917269393865]
  量子化は、浮動小数点数に匹敵する精度でニューラルネットワークのサイズを減らすための有望な技術として登場した。 そこで本研究では,QNNに対する新しい,効率的な形式検証手法を提案する。 特に、QNNの検証問題を整数線形制約の解法に還元する符号化を初めて提案する。
  論文  参考訳（メタデータ） (2022-12-10T03:00:29Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Examining the Robustness of Spiking Neural Networks on Non-ideal Memristive Crossbars [4.184276171116354]
  ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。 本研究では,SNNの性能に及ぼすクロスバー非理想性と本質性の影響について検討した。
  論文  参考訳（メタデータ） (2022-06-20T07:07:41Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• A Time Encoding approach to training Spiking Neural Networks [3.655021726150368]
  スパイキングニューラルネットワーク(SNN)の人気が高まっている。 本稿では、時間符号化理論を用いて、SNNの理解と学習を支援する余分なツールを提供する。
  論文  参考訳（メタデータ） (2021-10-13T14:07:11Z)
• Toward Trainability of Quantum Neural Networks [87.04438831673063]
  量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。 木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
  論文  参考訳（メタデータ） (2020-11-12T08:32:04Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。