論文の概要: QONNX: Representing Arbitrary-Precision Quantized Neural Networks

• arxiv url: http://arxiv.org/abs/2206.07527v2
• Date: Fri, 17 Jun 2022 16:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 11:27:01.026574
• Title: QONNX: Representing Arbitrary-Precision Quantized Neural Networks
• Title（参考訳）: QONNX: 任意精度量子化ニューラルネットワーク
• Authors: Alessandro Pappalardo and Yaman Umuroglu and Michaela Blott and Jovan Mitrevski and Ben Hawks and Nhan Tran and Vladimir Loncar and Sioni Summers and Hendrik Borras and Jules Muhizi and Matthew Trahms and Shih-Chieh Hsu and Scott Hauck and Javier Duarte
• Abstract要約: 我々は、任意の精度の量子化ニューラルネットワークを表現するために、Open Neural Network Exchange (ONNX) 中間表現フォーマットを拡張した。 まず、整数クリッピングを利用して、既存のONNXベースの量子化フォーマットで低精度量子化をサポートする。 次に、量子化ONNX(QONNX)と呼ばれる新しい高レベルのONNXフォーマットを導入し、3つの新しい演算子(Quant、BipolarQuant、Trunc)を導入する。
• 参考スコア（独自算出の注目度）: 49.10245225120615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present extensions to the Open Neural Network Exchange (ONNX) intermediate representation format to represent arbitrary-precision quantized neural networks. We first introduce support for low precision quantization in existing ONNX-based quantization formats by leveraging integer clipping, resulting in two new backward-compatible variants: the quantized operator format with clipping and quantize-clip-dequantize (QCDQ) format. We then introduce a novel higher-level ONNX format called quantized ONNX (QONNX) that introduces three new operators -- Quant, BipolarQuant, and Trunc -- in order to represent uniform quantization. By keeping the QONNX IR high-level and flexible, we enable targeting a wider variety of platforms. We also present utilities for working with QONNX, as well as examples of its usage in the FINN and hls4ml toolchains. Finally, we introduce the QONNX model zoo to share low-precision quantized neural networks.
• Abstract（参考訳）: 我々は,任意の精度の量子化ニューラルネットワークを表現するために,open neural network exchange (onnx) 中間表現形式の拡張を提案する。 まず,既存のonnxベースの量子化フォーマットにおいて,整数クリッピングを利用した低精度量子化のサポートを導入することで,後方互換性を持つ2つの新しい変種:クリッピングを用いた量子化演算子形式とqcdq形式を導入する。 次に、一様量子化を表すために、新しい3つの演算子、Quant、BipolarQuant、Truncを導入する量子化NNX(QONNX)と呼ばれる新しい高レベルNNXフォーマットを導入する。 QONNX IRを高レベルかつフレキシブルに保つことで、幅広いプラットフォームをターゲットにすることができる。 また,qonnx と連携するユーティリティや finn や hls4ml のツールチェーンでの使用例についても紹介する。 最後に、低精度量子化ニューラルネットワークを共有するためのQONNXモデル動物園を紹介する。

関連論文リスト

• Frame Quantization of Neural Networks [2.8720213314158234]
  本稿では,フレーム理論から派生したアイデアに依拠した誤差推定を伴う学習後量子化アルゴリズムを提案する。 ステップサイズとフレーム要素数の観点から,元のニューラルネットワークと量子化ニューラルネットワークの誤差を導出する。
  論文  参考訳（メタデータ） (2024-04-11T21:24:38Z)
• CEG4N: Counter-Example Guided Neural Network Quantization Refinement [2.722899166098862]
  我々は,カウンタ・サンプル・ガイド付きニューラルネットワーク量子化リファインメント(CEG4N)を提案する。 この手法は探索に基づく量子化と等価検証を組み合わせたものである。 最先端技術よりも最大72%精度のモデルを作成します。
  論文  参考訳（メタデータ） (2022-07-09T09:25:45Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• QTN-VQC: An End-to-End Learning framework for Quantum Neural Networks [71.14713348443465]
  可変量子回路(VQC)上に量子埋め込みを行うためのトレーニング可能な量子テンソルネットワーク(QTN)を導入する。 QTNは、量子埋め込みの生成から出力測定まで、エンドツーエンドのパラメトリックモデルパイプライン、すなわちQTN-VQCを可能にする。 MNISTデータセットに対する我々の実験は、他の量子埋め込み手法に対する量子埋め込みに対するQTNの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-06T14:44:51Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Quantum Deep Learning: Sampling Neural Nets with a Quantum Annealer [0.0]
  本稿では,量子処理ユニット上での高解像度画像分類のための2つのハードルを克服する手法を提案する。 我々は、畳み込みニューラルネットワークをQPUに転送し、少なくとも1桁の分類スピードアップの可能性を示した。
  論文  参考訳（メタデータ） (2021-07-19T09:35:02Z)
• A Quantum Convolutional Neural Network on NISQ Devices [0.9831489366502298]
  本稿では,畳み込みニューラルネットワークに着想を得た量子畳み込みニューラルネットワークを提案する。 我々のモデルは、画像認識タスクの特定のノイズに対して堅牢である。 これは、ビッグデータ時代の情報を処理するために、量子パワーを活用する可能性を開く。
  論文  参考訳（メタデータ） (2021-04-14T15:07:03Z)
• Toward Trainability of Quantum Neural Networks [87.04438831673063]
  量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。 木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
  論文  参考訳（メタデータ） (2020-11-12T08:32:04Z)
• Compiling ONNX Neural Network Models Using MLIR [51.903932262028235]
  本稿では,深層ニューラルネットワークモデルの推論のためのコードを生成するonnx-mlirコンパイラについて予備報告を行う。 Onnx-mlirは、最近LLVMプロジェクトに統合されたMulti-Level Intermediate Representation (MLIR)インフラストラクチャに依存している。
  論文  参考訳（メタデータ） (2020-08-19T05:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。