論文の概要: LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural Networks Based on Graphics Processing Units

• arxiv url: http://arxiv.org/abs/2003.08646v3
• Date: Tue, 28 Jul 2020 13:15:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 03:31:52.192942
• Title: LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural Networks Based on Graphics Processing Units
• Title（参考訳）: LANCE: グラフィックス処理ユニットに基づくニューラルネットワークの高精度量子化Winograd畳み込み
• Authors: Guangli Li, Lei Liu, Xueying Wang, Xiu Ma, Xiaobing Feng
• Abstract要約: 我々は,高速畳み込みと量子化の利点を組み合わせた,LANCEと呼ばれる高速な低精度量子化ウィノグラード畳み込みアルゴリズムを提案する。 8ビットの量子化Winograd畳み込みは、精度の低下を伴う完全精度畳み込みよりも最大2.40倍の性能向上を示す。
• 参考スコア（独自算出の注目度）: 6.110973485878557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accelerating deep convolutional neural networks has become an active topic and sparked an interest in academia and industry. In this paper, we propose an efficient low-precision quantized Winograd convolution algorithm, called LANCE, which combines the advantages of fast convolution and quantization techniques. By embedding linear quantization operations into the Winograd-domain, the fast convolution can be performed efficiently under low-precision computation on graphics processing units. We test neural network models with LANCE on representative image classification datasets, including SVHN, CIFAR, and ImageNet. The experimental results show that our 8-bit quantized Winograd convolution improves the performance by up to 2.40x over the full-precision convolution with trivial accuracy loss.
• Abstract（参考訳）: 深層畳み込みニューラルネットワークの加速が活発な話題となり、アカデミックや産業への関心が高まっている。 本稿では,高速畳み込み法と量子化法の利点を組み合わせた,効率的な高精度量子化Winograd畳み込みアルゴリズムLANCEを提案する。 線形量子化演算をウィノグラード領域に埋め込むことで、高速な畳み込みをグラフィック処理ユニットの低精度計算で効率的に行うことができる。 SVHN, CIFAR, ImageNetなどの画像分類データセットを用いてLANCEを用いたニューラルネットワークモデルをテストする。 実験の結果,8ビットの量子化Winograd畳み込みにより,精度の低下を伴う完全精度畳み込みよりも最大2.40倍の性能向上が得られた。

関連論文リスト

• Towards Efficient Verification of Quantized Neural Networks [9.352320240912109]
  量子化は、深層ニューラルネットワークモデルにおける浮動小数点演算を整数演算に置き換える。 本研究では,勾配に基づく探索手法と有界伝播手法を用いて,効率を向上できることを示す。
  論文  参考訳（メタデータ） (2023-12-20T00:43:13Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• Quantized Proximal Averaging Network for Analysis Sparse Coding [23.080395291046408]
  反復アルゴリズムをトレーニング可能なネットワークに展開し,量子化前にスパーシティの学習を容易にする。 圧縮画像回復と磁気共鳴画像再構成への応用を実証する。
  論文  参考訳（メタデータ） (2021-05-13T12:05:35Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• Optimisation of a Siamese Neural Network for Real-Time Energy Efficient Object Tracking [0.0]
  組込み視覚システムのためのSiameseニューラルネットワークを用いた視覚物体追跡の最適化について述べる。 提案手法は,高解像度ビデオストリームに対して,リアルタイムに動作するものと推定された。
  論文  参考訳（メタデータ） (2020-07-01T13:49:56Z)
• Quantaized Winograd/Toom-Cook Convolution for DNNs: Beyond Canonical Polynomials Base [0.0]
  ウィノグラード畳み込みアルゴリズムは、時間消費を大幅に削減する一般的な方法である。 量子化Winograd-Awareトレーニングモデルに対するベースチェンジ手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-04-23T11:15:27Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)
• Searching for Winograd-aware Quantized Networks [12.351250944079949]
  我々は、ウィノグラード変換によって導入された数値的不正確さを明らかにする畳み込み層のウィノグラード対応の定式化を提案する。 また, 数値誤差の原因にも対処し, 変換行列の形状を緩和し, CIFAR-10の分類精度を最大10%向上させる手法を提案する。
  論文  参考訳（メタデータ） (2020-02-25T07:53:53Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。