論文の概要: Efficient Multi-bit Quantization Network Training via Weight Bias Correction and Bit-wise Coreset Sampling

• arxiv url: http://arxiv.org/abs/2510.20673v1
• Date: Thu, 23 Oct 2025 15:49:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:18.253197
• Title: Efficient Multi-bit Quantization Network Training via Weight Bias Correction and Bit-wise Coreset Sampling
• Title（参考訳）: 軽量バイアス補正とビットワイドコアセットサンプリングによる効率的なマルチビット量子化ネットワークトレーニング
• Authors: Jinhee Kim, Jae Jun An, Kang Eun Jeon, Jong Hwan Ko,
• Abstract要約: マルチビット量子化ネットワークは、単一のモデル内で複数の精度レベルをサポートすることにより、ディープニューラルネットワークの柔軟な展開を可能にする。 既存のアプローチでは、サポート対象のビット幅毎にフルデータセット更新が繰り返されるため、トレーニングのオーバーヘッドが大幅に増大する。 本稿では,モデルの有用性を損なうことなく,トレーニングのオーバーヘッドを大幅に削減する2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 19.052294458935595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-bit quantization networks enable flexible deployment of deep neural networks by supporting multiple precision levels within a single model. However, existing approaches suffer from significant training overhead as full-dataset updates are repeated for each supported bit-width, resulting in a cost that scales linearly with the number of precisions. Additionally, extra fine-tuning stages are often required to support additional or intermediate precision options, further compounding the overall training burden. To address this issue, we propose two techniques that greatly reduce the training overhead without compromising model utility: (i) Weight bias correction enables shared batch normalization and eliminates the need for fine-tuning by neutralizing quantization-induced bias across bit-widths and aligning activation distributions; and (ii) Bit-wise coreset sampling strategy allows each child model to train on a compact, informative subset selected via gradient-based importance scores by exploiting the implicit knowledge transfer phenomenon. Experiments on CIFAR-10/100, TinyImageNet, and ImageNet-1K with both ResNet and ViT architectures demonstrate that our method achieves competitive or superior accuracy while reducing training time up to 7.88x. Our code is released at https://github.com/a2jinhee/EMQNet_jk.
• Abstract（参考訳）: マルチビット量子化ネットワークは、単一のモデル内で複数の精度レベルをサポートすることにより、ディープニューラルネットワークの柔軟な展開を可能にする。 しかし、既存のアプローチでは、サポート対象ビット幅ごとにフルデータセット更新を繰り返しているため、トレーニングのオーバーヘッドが著しくなり、その結果、精度の増大とともに線形にスケールするコストが発生する。 さらに、追加の微調整段階は、追加または中間の精度オプションをサポートするために必要となることが多く、訓練全体の負担がさらに複雑になる。 この問題に対処するため、モデルの有用性を損なうことなく、トレーニングのオーバーヘッドを大幅に削減する2つの手法を提案する。 一 重みバイアス補正により、共有バッチ正規化が可能となり、ビット幅をまたいだ量子化誘起バイアスを中和し、活性化分布を整合させることにより微調整を不要とする。 (二)ビットワイドコアセットサンプリング戦略により、暗黙の知識伝達現象を利用して、勾配に基づく重要度スコアから選択したコンパクトで情報的なサブセットを学習することができる。 CIFAR-10/100, TinyImageNet, ImageNet-1KのResNetおよびViTアーキテクチャによる実験により, トレーニング時間を7.88倍に短縮しつつ, 競争的, 優れた精度を達成できることが実証された。 私たちのコードはhttps://github.com/a2jinhee/EMQNet_jk.comでリリースされています。

関連論文リスト

• TruncQuant: Truncation-Ready Quantization for DNNs with Flexible Weight Bit Precision [8.532216260938478]
  トランケーションは、低ビット精度マッピングを実現するための効果的なアプローチである。 現在の量子化対応トレーニングスキームは、トランケーションプロセスのために設計されていない。 そこで我々はTruncQuantを提案する。TruncQuantは、実行時のビットシフトによるフレキシブルビット精度を実現する新しいトランケーション対応トレーニングスキームである。
  論文  参考訳（メタデータ） (2025-06-13T03:08:18Z)
• Nearly Lossless Adaptive Bit Switching [8.485009775430411]
  ImageNet-1K分類の実験結果から,本手法は多精度・混合精度の両面において,最先端のワンショットジョイントQATに十分な利点があることが示された。
  論文  参考訳（メタデータ） (2025-02-03T09:46:26Z)
• AdaQAT: Adaptive Bit-Width Quantization-Aware Training [0.873811641236639]
  大規模ディープニューラルネットワーク(DNN)は多くのアプリケーションシナリオで大きな成功を収めています。 モデル量子化は、デプロイメントの制約に対処する一般的なアプローチであるが、最適化されたビット幅の探索は困難である。 AdaQAT(Adaptive Bit-Width Quantization Aware Training)は,学習中のビット幅を自動的に最適化し,より効率的な推論を行う学習手法である。
  論文  参考訳（メタデータ） (2024-04-22T09:23:56Z)
• A Practical Mixed Precision Algorithm for Post-Training Quantization [15.391257986051249]
  混合精度量子化は、均一な量子化よりも優れた性能効率トレードオフを見つけるための有望な解である。 簡単な学習後混合精度アルゴリズムを提案する。 我々は,同質のビット幅等価値よりも精度と効率のトレードオフが良い混合精度ネットワークを見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-02-10T17:47:54Z)
• Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
  量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。 理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
  論文  参考訳（メタデータ） (2022-12-10T15:57:38Z)
• Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
  ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。 現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。 本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-21T08:16:31Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。