論文の概要: QNNRepair: Quantized Neural Network Repair

• arxiv url: http://arxiv.org/abs/2306.13793v3
• Date: Sun, 10 Sep 2023 11:47:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 19:36:55.803118
• Title: QNNRepair: Quantized Neural Network Repair
• Title（参考訳）: QNNRepair: 量子ニューラルネットワークの修復
• Authors: Xidan Song, Youcheng Sun, Mustafa A. Mustafa, and Lucas C. Cordeiro
• Abstract要約: 量子化されたニューラルネットワーク(QNN)を修復するための文献における最初の方法であるQNNRepairを提案する。 QNNRepairは、量子化後のニューラルネットワークモデルの精度向上を目的としている。
• 参考スコア（独自算出の注目度）: 10.904217409147565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present QNNRepair, the first method in the literature for repairing quantized neural networks (QNNs). QNNRepair aims to improve the accuracy of a neural network model after quantization. It accepts the full-precision and weight-quantized neural networks and a repair dataset of passing and failing tests. At first, QNNRepair applies a software fault localization method to identify the neurons that cause performance degradation during neural network quantization. Then, it formulates the repair problem into a linear programming problem of solving neuron weights parameters, which corrects the QNN's performance on failing tests while not compromising its performance on passing tests. We evaluate QNNRepair with widely used neural network architectures such as MobileNetV2, ResNet, and VGGNet on popular datasets, including high-resolution images. We also compare QNNRepair with the state-of-the-art data-free quantization method SQuant. According to the experiment results, we conclude that QNNRepair is effective in improving the quantized model's performance in most cases. Its repaired models have 24% higher accuracy than SQuant's in the independent validation set, especially for the ImageNet dataset.
• Abstract（参考訳）: 本稿では,量子化ニューラルネットワーク (QNN) の修復手法であるQNNRepairを提案する。 QNNRepairは、量子化後のニューラルネットワークモデルの精度向上を目的としている。 完全な精度と重み付けのニューラルネットワークと、合格テストと失敗テストの修復データセットを受け入れる。 はじめに、QNNRepairは、ニューラルネットワーク量子化時にパフォーマンス劣化を引き起こすニューロンを特定するために、ソフトウェア障害ローカライズ手法を適用した。 そして、修復問題をニューロン重みパラメータを解く線形計画問題に定式化し、合格テストにおける性能を損なうことなく、故障テストにおけるqnnの性能を補正する。 我々は、高解像度画像を含む一般的なデータセット上で、MobileNetV2、ResNet、VGGNetなどの広く使われているニューラルネットワークアーキテクチャを用いて、QNNRepairを評価する。 また,QNNRepairと最先端データ自由量子化手法SQuantを比較した。 実験の結果,QNNRepairは,ほとんどの場合において量子化モデルの性能向上に有効であることがわかった。 修復されたモデルは、独立した検証セット、特にImageNetデータセットにおいて、SQuantよりも24%高い精度を持つ。

関連論文リスト

• ARQ: A Mixed-Precision Quantization Framework for Accurate and Certifiably Robust DNNs [15.43153209571646]
  混合精度量子化は、限られたリソースコンピューティングプラットフォーム上でディープニューラルネットワーク(DNN)の実行を可能にする重要な技術となっている。 本稿では、スムーズな分類器のクリーンな精度を保ちつつ、その信頼性を保ちながら、新しい混合精度量子化手法であるARQを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T17:59:37Z)
• ResQNets: A Residual Approach for Mitigating Barren Plateaus in Quantum Neural Networks [0.0]
  量子ニューラルネットワーク(QNN)におけるバレンプラトー問題は、QNNの実践的な成功を妨げる重要な課題である。 本稿では、この問題に対処するための解として、残留量子ニューラルネットワーク(ResQNet)を導入する。
  論文  参考訳（メタデータ） (2023-05-05T13:33:43Z)
• QVIP: An ILP-based Formal Verification Approach for Quantized Neural Networks [14.766917269393865]
  量子化は、浮動小数点数に匹敵する精度でニューラルネットワークのサイズを減らすための有望な技術として登場した。 そこで本研究では,QNNに対する新しい,効率的な形式検証手法を提案する。 特に、QNNの検証問題を整数線形制約の解法に還元する符号化を初めて提案する。
  論文  参考訳（メタデータ） (2022-12-10T03:00:29Z)
• Data reconstruction based on quantum neural networks [0.456877715768796]
  量子ニューラルネットワーク(QNN)と量子オートエンコーダ(QAE)に基づくデータ再構成のための2つのフレームワークを提案する。 その結果,QNNとQAEはデータ再構成に有効であることがわかった。
  論文  参考訳（メタデータ） (2022-09-13T03:40:27Z)
• GHN-Q: Parameter Prediction for Unseen Quantized Convolutional Architectures via Graph Hypernetworks [80.29667394618625]
  我々は,未知の量子化CNNアーキテクチャのパラメータの予測にグラフハイパーネットを用いることを初めて検討した。 我々は、CNNの探索空間の縮小に着目し、GHN-Qが実際に8ビットの量子化されたCNNの量子化-ロバストパラメータを予測できることを見出した。
  論文  参考訳（メタデータ） (2022-08-26T08:00:02Z)
• Toward Trainability of Quantum Neural Networks [87.04438831673063]
  量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。 木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
  論文  参考訳（メタデータ） (2020-11-12T08:32:04Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment [73.55944459902041]
  本稿では,深層メタラーニングに基づく非参照IQA尺度を提案する。 まず、様々な歪みに対してNR-IQAタスクを収集する。 次にメタラーニングを用いて、多彩な歪みによって共有される事前知識を学習する。 大規模な実験により、提案された計量は最先端の技術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-04-11T23:36:36Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。