Fugu-MT 論文翻訳(概要): Histogram-Equalized Quantization for logic-gated Residual Neural Networks

論文の概要: Histogram-Equalized Quantization for logic-gated Residual Neural Networks

arxiv url: http://arxiv.org/abs/2501.04517v2
Date: Thu, 09 Jan 2025 09:00:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-10 13:58:16.210373
Title: Histogram-Equalized Quantization for logic-gated Residual Neural Networks
Title（参考訳）: 論理ゲート残差ニューラルネットワークのヒストグラム等化量子化
Authors: Van Thien Nguyen, William Guicquero, Gilles Sicard,
Abstract要約: ヒストグラム等化量子化(HEQ)は線形対称量子化のための適応的なフレームワークである。 HEQは独自のステップサイズ最適化を用いて量子化しきい値を自動的に適応する。 STL-10データセットの実験では、HEQが提案した論理ゲート(OR, MUX)残差ネットワークの適切なトレーニングを可能にすることも示している。
参考スコア（独自算出の注目度）: 2.7036595757881323
License:
Abstract: Adjusting the quantization according to the data or to the model loss seems mandatory to enable a high accuracy in the context of quantized neural networks. This work presents Histogram-Equalized Quantization (HEQ), an adaptive framework for linear symmetric quantization. HEQ automatically adapts the quantization thresholds using a unique step size optimization. We empirically show that HEQ achieves state-of-the-art performances on CIFAR-10. Experiments on the STL-10 dataset even show that HEQ enables a proper training of our proposed logic-gated (OR, MUX) residual networks with a higher accuracy at a lower hardware complexity than previous work.
Abstract（参考訳）: データやモデル損失に応じて量子化を調整することは、量子化されたニューラルネットワークの文脈で高い精度を実現するために必須であるように思われる。この研究は、線形対称量子化のための適応的フレームワークであるヒストグラム等化量子化(HEQ)を提示する。 HEQは独自のステップサイズ最適化を用いて量子化しきい値を自動的に適応する。 HEQがCIFAR-10の最先端性能を達成することを実証的に示す。 STL-10データセットの実験では、HEQが提案した論理ゲート(OR, MUX)残差ネットワークの適切なトレーニングを可能にすることさえ示している。

関連論文リスト

Tensor Ring Optimized Quantum-Enhanced Tensor Neural Networks [32.76948546010625]
量子機械学習の研究者は、しばしばディープニューラルネットワーク(DNN)にネットワーク(TN)を組み込むことに頼っている。この問題に対処するために、リング最適化変分量子学習分類器(Quan-TR)の多層設計を提案する。リング最適化量子強化ニューラルネットワーク(TR-QNet)と呼ばれる。量子シミュレーションにおいて、提案されたTR-QNetは、それぞれIris、MNIST、CIFAR-10データセット上で、9,4.5%、8,6.16%、および83.54%の有望な精度を達成している。
論文参考訳（メタデータ） (2023-10-02T18:07:10Z)
Designing strong baselines for ternary neural network quantization through support and mass equalization [7.971065005161565]
ディープニューラルネットワーク(DNN)は、コンピュータビジョンにおける幅広いアプリケーションにおいて、最高のパフォーマンスを提供する。浮動小数点値を3次値に定量化することにより、この計算負担を劇的に低減することができる。提案手法は, 様々なシナリオを用いて三次量子化の性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2023-06-30T07:35:07Z)
Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
論文参考訳（メタデータ） (2022-12-10T15:57:38Z)
Theoretical Error Performance Analysis for Variational Quantum Circuit Based Functional Regression [83.79664725059877]
本研究では,次元減少と機能回帰のためのエンドツーエンドの量子ニューラルネットワークであるTTN-VQCを提案する。また,polyak-Lojasiewicz (PL) 条件を利用してTTN-VQCの最適化特性を特徴付ける。
論文参考訳（メタデータ） (2022-06-08T06:54:07Z)
Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文参考訳（メタデータ） (2022-01-26T18:47:38Z)
A Statistical Framework for Low-bitwidth Training of Deep Neural Networks [70.77754244060384]
フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。 FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
論文参考訳（メタデータ） (2020-10-27T13:57:33Z)
Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
論文参考訳（メタデータ） (2020-10-09T03:52:16Z)
Propagating Asymptotic-Estimated Gradients for Low Bitwidth Quantized Neural Networks [31.168156284218746]
本稿では,AQE(Asymptotic-Quantized Estimator)を提案する。訓練の終わりに、重量とアクティベーションは低精度に定量化されている。推論フェーズでは、畳み込み操作の代わりにXNORまたはShiFT操作を使用してMINW-Netを高速化する。
論文参考訳（メタデータ） (2020-03-04T03:17:47Z)
Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
論文参考訳（メタデータ） (2020-02-18T12:31:34Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。