論文の概要: Batch Normalization-Free Fully Integer Quantized Neural Networks via Progressive Tandem Learning

• arxiv url: http://arxiv.org/abs/2512.16476v1
• Date: Thu, 18 Dec 2025 12:47:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:32.055609
• Title: Batch Normalization-Free Fully Integer Quantized Neural Networks via Progressive Tandem Learning
• Title（参考訳）: 逐次タンデム学習によるバッチ正規化自由完全整数量子化ニューラルネットワーク
• Authors: Pengfei Sun, Wenyu Jiang, Piew Yoong Chee, Paul Devos, Dick Botteldooren,
• Abstract要約: 量子ニューラルネットワーク(QNN)はモデルを縮小し、低ビット演算により推論エネルギーを削減する。 BNフリーで完全整数QNNを, プログレッシブ・層ワイド蒸留法を用いて訓練した。 ImageNet with AlexNetでは、BNフリーモデルがアグレッシブ量子化の下で競合するトップ1の精度を達成する。
• 参考スコア（独自算出の注目度）: 16.532309126474843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantised neural networks (QNNs) shrink models and reduce inference energy through low-bit arithmetic, yet most still depend on a running statistics batch normalisation (BN) layer, preventing true integer-only deployment. Prior attempts remove BN by parameter folding or tailored initialisation; while helpful, they rarely recover BN's stability and accuracy and often impose bespoke constraints. We present a BN-free, fully integer QNN trained via a progressive, layer-wise distillation scheme that slots into existing low-bit pipelines. Starting from a pretrained BN-enabled teacher, we use layer-wise targets and progressive compensation to train a student that performs inference exclusively with integer arithmetic and contains no BN operations. On ImageNet with AlexNet, the BN-free model attains competitive Top-1 accuracy under aggressive quantisation. The procedure integrates directly with standard quantisation workflows, enabling end-to-end integer-only inference for resource-constrained settings such as edge and embedded devices.
• Abstract（参考訳）: 量子ニューラルネットワーク(QNN)はモデルを縮小し、低ビット演算による推論エネルギーを削減するが、ほとんどの場合、実行統計バッチ正規化(BN)層に依存しており、真の整数のみのデプロイメントを妨げている。 以前の試みでは、パラメータの折りたたみや調整された初期化によってBNを除去するが、BNの安定性と精度を回復することは滅多になく、しばしば好ましくない制約を課す。 BNフリーで完全整数のQNNを、既存の低ビットパイプラインにスロットするプログレッシブな層ワイド蒸留方式で訓練する。 事前に訓練されたBN対応教師から始めて、階層的な目標とプログレッシブな補償を用いて、整数演算のみで推論を行い、BN演算を含まない学生を訓練する。 ImageNet with AlexNetでは、BNフリーモデルがアグレッシブ量子化の下で競合するトップ1の精度を達成する。 この手順は標準的な量子化ワークフローと直接統合され、エッジや組み込みデバイスのようなリソース制限された設定に対して、エンドツーエンドの整数のみの推論を可能にする。

関連論文リスト

• Batch Normalization Preconditioning for Neural Network Training [7.709342743709842]
  バッチ正規化(BN)は、ディープラーニングにおいて一般的でユビキタスな手法である。 BNは、非常に小さなミニバッチサイズやオンライン学習での使用には適していない。 BNP(Batch Normalization Preconditioning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-02T18:17:26Z)
• Towards Efficient Full 8-bit Integer DNN Online Training on Resource-limited Devices without Batch Normalization [13.340254606150232]
  畳み込みとバッチ正規化(BN)によってもたらされる膨大な計算コストは、オンライントレーニングとディープニューラルネットワーク(DNN)の応用に大きな課題を引き起こしている。 既存の作業は畳み込みやBNアクセラレーションにのみ焦点を合わせており、満足なパフォーマンスで両方の問題を緩和できる解決策は存在しない。 オンライントレーニングは、携帯電話のようなリソース制限されたデバイスでは徐々にトレンドになりつつあるが、モデル性能、処理速度、計算コストを許容する完全な技術スキームはいまだに存在しない。
  論文  参考訳（メタデータ） (2021-05-27T14:58:04Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。