論文の概要: Outlier-Aware Training for Low-Bit Quantization of Structural Re-Parameterized Networks

• arxiv url: http://arxiv.org/abs/2402.07200v1
• Date: Sun, 11 Feb 2024 13:26:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 16:53:51.501657
• Title: Outlier-Aware Training for Low-Bit Quantization of Structural Re-Parameterized Networks
• Title（参考訳）: 構造再パラメータネットワークの低ビット量子化のためのoutlier-awareトレーニング
• Authors: Muqun Niu, Yuan Ren, Boyu Li and Chenchen Ding
• Abstract要約: 我々は、OABN(Outlier Aware Batch Normalization)と呼ばれる、オペレータレベルのトレーニング改善を提案する。 また,クラスタリングに基づくQAT(Quantization-Aware Training)のための非一様量子化フレームワークであるClusterQATを開発した。
• 参考スコア（独自算出の注目度）: 7.446898033580747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lightweight design of Convolutional Neural Networks (CNNs) requires co-design efforts in the model architectures and compression techniques. As a novel design paradigm that separates training and inference, a structural re-parameterized (SR) network such as the representative RepVGG revitalizes the simple VGG-like network with a high accuracy comparable to advanced and often more complicated networks. However, the merging process in SR networks introduces outliers into weights, making their distribution distinct from conventional networks and thus heightening difficulties in quantization. To address this, we propose an operator-level improvement for training called Outlier Aware Batch Normalization (OABN). Additionally, to meet the demands of limited bitwidths while upkeeping the inference accuracy, we develop a clustering-based non-uniform quantization framework for Quantization-Aware Training (QAT) named ClusterQAT. Integrating OABN with ClusterQAT, the quantized performance of RepVGG is largely enhanced, particularly when the bitwidth falls below 8.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)の軽量設計にはモデルアーキテクチャと圧縮技術の共同設計が必要となる。 トレーニングと推論を分離する新しい設計パラダイムとして、RepVGG代表のような構造的再パラメータ化(SR)ネットワークは、より高度で複雑なネットワークと高い精度で単純なVGGのようなネットワークを再活性化する。 しかし、SRネットワークにおけるマージプロセスは、アウトレーヤを重みにし、その分布を従来のネットワークと区別し、量子化の困難を増す。 そこで本研究では,OABN (Outlier Aware Batch Normalization) と呼ばれる,オペレータレベルのトレーニング改善を提案する。 さらに,推測精度を維持しつつ,限られたビット幅の要求を満たすため,クラスタリングに基づくQAT(Quantization-Aware Training)のための非一様量子化フレームワークであるClusterQATを開発した。 oabn と clusterqat を統合することで、特にビット幅が 8 を下回ると、repvgg の量子化性能が大幅に向上する。

関連論文リスト

• RTF-Q: Efficient Unsupervised Domain Adaptation with Retraining-free Quantization [14.447148108341688]
  ReTraining-Free Quantization (RTF-Q) を用いた効率的な非教師なし領域適応法を提案する。 提案手法では,計算コストの異なる低精度量子化アーキテクチャを用い,動的予算を持つデバイスに適用する。 提案するネットワークは,3つのベンチマークにおける最先端手法との競合精度を実証する。
  論文  参考訳（メタデータ） (2024-08-11T11:53:29Z)
• An Enhanced Encoder-Decoder Network Architecture for Reducing Information Loss in Image Semantic Segmentation [6.596361762662328]
  残差接続により拡張された革新的なエンコーダ・デコーダネットワーク構造を導入する。 提案手法では,様々な画像スケールにまたがる複雑な情報保存を効果的に行うために,マルチレジデント接続戦略を採用している。 ネットワークトレーニングの収束率を高め,サンプルの不均衡問題を緩和するために,改良されたクロスエントロピー損失関数を考案した。
  論文  参考訳（メタデータ） (2024-05-26T05:15:53Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Split-Boost Neural Networks [1.1549572298362787]
  本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。 このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。 提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
  論文  参考訳（メタデータ） (2023-09-06T17:08:57Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
  量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。 理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
  論文  参考訳（メタデータ） (2022-12-10T15:57:38Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Training Multi-bit Quantized and Binarized Networks with A Learnable Symmetric Quantizer [1.9659095632676098]
  リソース制約のあるデバイスやクラウドプラットフォームにそれらをデプロイするには、ディープニューラルネットワークの重み付けとアクティベーションの定量化が不可欠だ。 双対化は量子化の特別な場合であるが、この極端な場合はしばしばいくつかの訓練の困難をもたらす。 双対化の困難を克服するため,uniq と呼ばれる統一量子化フレームワークを開発した。
  論文  参考訳（メタデータ） (2021-04-01T02:33:31Z)
• Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper Representations [12.716429755564821]
  DPCN(Deep-Predictive-Coding Network)は、フィードフォワードとフィードバック接続に依存する階層的な生成モデルである。 DPCNの重要な要素は、動的モデルのスパース状態を明らかにする前向きの推論手順である。 我々は,加速近位勾配に基づく実験的および理論的収束性の向上した最適化戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-18T02:30:13Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。