論文の概要: Quantized Approximately Orthogonal Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2402.04012v1
- Date: Mon, 5 Feb 2024 09:59:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 14:43:41.826032
- Title: Quantized Approximately Orthogonal Recurrent Neural Networks
- Title(参考訳): 近似直交リカレントニューラルネットワークの量子化
- Authors: Armand Foucault (IMT), Franck Mamalet (UT), Fran\c{c}ois Malgouyres
(IMT)
- Abstract要約: 我々は、ORNNにおける繰り返しおよび入力重み行列の量子化を探求し、量子化されたほぼ直交RNN(QORNN)を導く。
最も効率的なモデルは、3ビット量子化であっても、様々な標準ベンチマークにおける最先端のフル精度ORNNやLSTMと同様の結果が得られる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Orthogonal recurrent neural networks (ORNNs) are an appealing option for
learning tasks involving time series with long-term dependencies, thanks to
their simplicity and computational stability. However, these networks often
require a substantial number of parameters to perform well, which can be
prohibitive in power-constrained environments, such as compact devices. One
approach to address this issue is neural network quantization. The construction
of such networks remains an open problem, acknowledged for its inherent
instability.In this paper, we explore the quantization of the recurrent and
input weight matrices in ORNNs, leading to Quantized approximately Orthogonal
RNNs (QORNNs). We investigate one post-training quantization (PTQ) strategy and
three quantization-aware training (QAT) algorithms that incorporate orthogonal
constraints and quantized weights. Empirical results demonstrate the advantages
of employing QAT over PTQ. The most efficient model achieves results similar to
state-of-the-art full-precision ORNN and LSTM on a variety of standard
benchmarks, even with 3-bits quantization.
- Abstract(参考訳): 直交リカレントニューラルネットワーク(ornn)は、単純さと計算安定性のおかげで、長期的な依存関係を持つ時系列を含むタスクを学習するための魅力的な選択肢である。
しかし、これらのネットワークはよく機能するためにかなりの数のパラメータを必要とすることが多く、コンパクトデバイスのような電力制約のある環境では禁止される。
この問題に対処するアプローチのひとつは、ニューラルネットワークの量子化だ。
本稿では, ORNNにおける繰り返しおよび入力重み行列の量子化について検討し, ほぼ直交RNN(QORNN)の量子化を導いた。
学習後量子化(ptq)戦略と,直交制約と量子化重みを組み込んだ3つの量子化アウェアトレーニング(qat)アルゴリズムについて検討した。
実証的な結果は、PTQよりもQATを使うことの利点を示している。
最も効率的なモデルは、3ビット量子化であっても、様々な標準ベンチマークにおける最先端のフル精度ORNNやLSTMと同様の結果が得られる。
関連論文リスト
- Coherent Feed Forward Quantum Neural Network [2.1178416840822027]
量子ニューラルネットワーク(QNN)に焦点をあてた量子機械学習は、いまだに膨大な研究分野である。
適応可能な中間層とノードの観点から,従来のFFNNの汎用性とシームレスに整合するボナフェイドQNNモデルを提案する。
本研究では,診断乳がん(Wisconsin)やクレジットカード不正検出データセットなど,さまざまなベンチマークデータセットを用いて提案モデルを検証した。
論文 参考訳(メタデータ) (2024-02-01T15:13:26Z) - Designing strong baselines for ternary neural network quantization
through support and mass equalization [7.971065005161565]
ディープニューラルネットワーク(DNN)は、コンピュータビジョンにおける幅広いアプリケーションにおいて、最高のパフォーマンスを提供する。
浮動小数点値を3次値に定量化することにより、この計算負担を劇的に低減することができる。
提案手法は, 様々なシナリオを用いて三次量子化の性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-30T07:35:07Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳(メタデータ) (2022-11-29T13:32:38Z) - Optimizing Tensor Network Contraction Using Reinforcement Learning [86.05566365115729]
本稿では,グラフニューラルネットワーク(GNN)と組み合わせた強化学習(RL)手法を提案する。
この問題は、巨大な検索スペース、重い尾の報酬分布、そして困難なクレジット割り当てのために非常に難しい。
GNNを基本方針として利用するRLエージェントが,これらの課題にどのように対処できるかを示す。
論文 参考訳(メタデータ) (2022-04-18T21:45:13Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳(メタデータ) (2021-11-29T09:30:06Z) - Exponentially Many Local Minima in Quantum Neural Networks [9.442139459221785]
量子ニューラルネットワーク(QNN)は、古典的ニューラルネットワークと同じような約束のため、重要な量子アプリケーションである。
我々は,QNNの損失関数のランドスケープを定量的に調査し,トレーニング用に単純だが極めて難しいQNNインスタンスのクラスを同定する。
我々は、我々の構成が、典型的な勾配ベースの回路で実際に難しい事例となることを実証的に確認する。
論文 参考訳(メタデータ) (2021-10-06T03:23:44Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳(メタデータ) (2021-09-05T15:15:07Z) - A White Paper on Neural Network Quantization [20.542729144379223]
本稿では,量子化ノイズがネットワークの性能に与える影響を緩和する最新アルゴリズムを提案する。
我々は,ポストトレーニング量子化(PTQ)と量子化アウェア・トレーニング(QAT)の2つのアルゴリズムについて考察する。
論文 参考訳(メタデータ) (2021-06-15T17:12:42Z) - Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。
QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。
木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文 参考訳(メタデータ) (2020-11-12T08:32:04Z) - Once Quantization-Aware Training: High Performance Extremely Low-bit
Architecture Search [112.05977301976613]
本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。
まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。
次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
論文 参考訳(メタデータ) (2020-10-09T03:52:16Z) - Recurrent Quantum Neural Networks [7.6146285961466]
リカレントニューラルネットワークは、機械学習における多くのシーケンス対シーケンスモデルの基盤となっている。
非自明なタスクに対して実証可能な性能を持つ量子リカレントニューラルネットワーク(QRNN)を構築する。
我々はQRNNをMNIST分類で評価し、QRNNに各画像ピクセルを供給し、また、最新のデータ拡張を前処理のステップとして利用する。
論文 参考訳(メタデータ) (2020-06-25T17:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。