論文の概要: QGen: On the Ability to Generalize in Quantization Aware Training
- arxiv url: http://arxiv.org/abs/2404.11769v2
- Date: Fri, 19 Apr 2024 16:50:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 12:13:31.947304
- Title: QGen: On the Ability to Generalize in Quantization Aware Training
- Title(参考訳): QGen:量子化アウェアトレーニングにおける一般化能力について
- Authors: MohammadHossein AskariHemmat, Ahmadreza Jeddi, Reyhane Askari Hemmat, Ivan Lazarevich, Alexander Hoffman, Sudhakar Sah, Ehsan Saboori, Yvon Savaria, Jean-Pierre David,
- Abstract要約: 量子化は、モデルの重みとアクティベーションを表すために少ないビットを利用することで、メモリ使用量、計算要求、レイテンシを低下させる。
ニューラルネットワークにおける量子化の理論モデルを開発し、正則化の形式として量子化がどのように機能するかを示す。
- 参考スコア(独自算出の注目度): 35.0485699853394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quantization lowers memory usage, computational requirements, and latency by utilizing fewer bits to represent model weights and activations. In this work, we investigate the generalization properties of quantized neural networks, a characteristic that has received little attention despite its implications on model performance. In particular, first, we develop a theoretical model for quantization in neural networks and demonstrate how quantization functions as a form of regularization. Second, motivated by recent work connecting the sharpness of the loss landscape and generalization, we derive an approximate bound for the generalization of quantized models conditioned on the amount of quantization noise. We then validate our hypothesis by experimenting with over 2000 models trained on CIFAR-10, CIFAR-100, and ImageNet datasets on convolutional and transformer-based models.
- Abstract(参考訳): 量子化は、モデルの重みとアクティベーションを表すために少ないビットを利用することで、メモリ使用量、計算要求、レイテンシを低下させる。
本研究では,量子化されたニューラルネットワークの一般化特性について検討する。
特に,まずニューラルネットワークにおける量子化の理論モデルを開発し,正則化の形式として量子化がどのように機能するかを示す。
第二に、ロスランドスケープのシャープネスと一般化を結びつける最近の研究により、量子化ノイズの量で条件付けられた量子化モデルの一般化に関する近似境界を導出する。
次に,CIFAR-10,CIFAR-100,ImageNetで訓練された2000以上のモデルを用いて,畳み込みモデルと変圧器モデルを用いて仮説を検証した。
関連論文リスト
- Quantum machine learning for image classification [39.58317527488534]
本研究では、量子力学の原理を有効計算に活用する2つの量子機械学習モデルを紹介する。
我々の最初のモデルは、並列量子回路を持つハイブリッド量子ニューラルネットワークであり、ノイズの多い中間スケール量子時代においても計算の実行を可能にする。
第2のモデルは、クオン進化層を持つハイブリッド量子ニューラルネットワークを導入し、畳み込みプロセスによる画像の解像度を低下させる。
論文 参考訳(メタデータ) (2023-04-18T18:23:20Z) - A Framework for Demonstrating Practical Quantum Advantage: Racing
Quantum against Classical Generative Models [62.997667081978825]
生成モデルの一般化性能を評価するためのフレームワークを構築した。
古典的および量子生成モデル間の実用的量子優位性(PQA)に対する最初の比較レースを確立する。
以上の結果から,QCBMは,他の最先端の古典的生成モデルよりも,データ制限方式の方が効率的であることが示唆された。
論文 参考訳(メタデータ) (2023-03-27T22:48:28Z) - Vertical Layering of Quantized Neural Networks for Heterogeneous
Inference [57.42762335081385]
量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。
理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
論文 参考訳(メタデータ) (2022-12-10T15:57:38Z) - A didactic approach to quantum machine learning with a single qubit [68.8204255655161]
我々は、データ再ロード技術を用いて、単一のキュービットで学習するケースに焦点を当てる。
我々は、Qiskit量子コンピューティングSDKを用いて、おもちゃと現実世界のデータセットに異なる定式化を実装した。
論文 参考訳(メタデータ) (2022-11-23T18:25:32Z) - Generalization despite overfitting in quantum machine learning models [0.0]
量子モデルにおける良性過剰適合のキャラクタリゼーションを提供する。
量子モデルのクラスが如何に類似した特徴を示すかを示す。
我々はこれらの特徴を、局所的な「スパイク」な振る舞いでノイズデータを補間する量子モデルの能力に応じて直感的に説明する。
論文 参考訳(メタデータ) (2022-09-12T18:08:45Z) - Mixed-Precision Inference Quantization: Radically Towards Faster
inference speed, Lower Storage requirement, and Lower Loss [4.877532217193618]
既存の量子化技術は、経験と「微調整」スキルに大きく依存している。
本研究は,完全精度モデルよりも低損失の混合精密量子化モデルを得るための方法論を提供する。
特に、巨大なアイデンティティマッピングを持つニューラルネットワークが量子化法に耐性があることを実証する。
論文 参考訳(メタデータ) (2022-07-20T10:55:34Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳(メタデータ) (2022-07-04T13:25:49Z) - Generalization Metrics for Practical Quantum Advantage in Generative
Models [68.8204255655161]
生成モデリングは量子コンピュータにとって広く受け入れられている自然のユースケースである。
我々は,アルゴリズムの一般化性能を計測して,生成モデリングのための実用的な量子優位性を探索する,単純で曖昧な手法を構築した。
シミュレーションの結果、我々の量子にインスパイアされたモデルは、目に見えない、有効なサンプルを生成するのに、最大で68倍の費用がかかります。
論文 参考訳(メタデータ) (2022-01-21T16:35:35Z) - Post-Training Quantization for Vision Transformer [85.57953732941101]
本稿では,視覚変換器のメモリ記憶量と計算コストを削減するための学習後量子化アルゴリズムを提案する。
約8ビット量子化を用いて、ImageNetデータセット上でDeiT-Bモデルを用いて81.29%のトップ-1の精度を得ることができる。
論文 参考訳(メタデータ) (2021-06-27T06:27:22Z) - SQWA: Stochastic Quantized Weight Averaging for Improving the
Generalization Capability of Low-Precision Deep Neural Networks [29.187848543158992]
我々は、新しい量子化ニューラルネットワーク最適化手法、量子化ウェイト平均化(SQWA)を提案する。
提案手法には、浮動小数点モデルのトレーニング、重みの直接量子化、複数の低精度モデルのキャプチャ、キャプチャーモデルの平均化、低学習率の微調整が含まれる。
SQWAトレーニングにより、CIFAR-100およびImageNetデータセット上の2ビットQDNNの最先端結果を得た。
論文 参考訳(メタデータ) (2020-02-02T07:02:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。