論文の概要: Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach

• arxiv url: http://arxiv.org/abs/2207.10188v1
• Date: Wed, 20 Jul 2022 20:39:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 12:33:26.500830
• Title: Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach
• Title（参考訳）: Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach
• Authors: Jiseok Youn, Jaehun Song, Hyung-Sin Kim, Saewoong Bahk
• Abstract要約: 本稿では,適応ビット幅を用いた深層ニューラルネットワーク量子化を実現するメタラーニング手法を提案する。 MeBQATは、(メタ)訓練されたモデルを任意の候補ビット幅に量子化し、量子化からあまり精度を落とさずに推論を行うのに役立つ。 我々は、複数のQATスキームでそれらの妥当性を実験的に実証した。
• 参考スコア（独自算出の注目度）: 6.122150357599037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural network quantization with adaptive bitwidths has gained increasing attention due to the ease of model deployment on various platforms with different resource budgets. In this paper, we propose a meta-learning approach to achieve this goal. Specifically, we propose MEBQAT, a simple yet effective way of bitwidth-adaptive quantization aware training (QAT) where meta-learning is effectively combined with QAT by redefining meta-learning tasks to incorporate bitwidths. After being deployed on a platform, MEBQAT allows the (meta-)trained model to be quantized to any candidate bitwidth then helps to conduct inference without much accuracy drop from quantization. Moreover, with a few-shot learning scenario, MEBQAT can also adapt a model to any bitwidth as well as any unseen target classes by adding conventional optimization or metric-based meta-learning. We design variants of MEBQAT to support both (1) a bitwidth-adaptive quantization scenario and (2) a new few-shot learning scenario where both quantization bitwidths and target classes are jointly adapted. We experimentally demonstrate their validity in multiple QAT schemes. By comparing their performance to (bitwidth-dedicated) QAT, existing bitwidth adaptive QAT and vanilla meta-learning, we find that merging bitwidths into meta-learning tasks achieves a higher level of robustness.
• Abstract（参考訳）: 適応ビット幅を持つディープニューラルネットワーク量子化は、リソース予算の異なるさまざまなプラットフォームへのモデル展開の容易さにより、注目を集めている。 本稿では,この目標を達成するためのメタラーニング手法を提案する。 具体的には、メタラーニングタスクを再定義し、ビット幅を組み込むことで、メタラーニングとQATを効果的に組み合わせた、ビット幅適応型量子化学習(QAT)の簡易かつ効果的な方法であるMEBQATを提案する。 プラットフォーム上にデプロイされた後、MEBQATは(meta--trained)モデルを任意のビット幅に量子化し、量子化からあまり精度を落とさずに推論を行うのに役立つ。 さらに、数ショットの学習シナリオでは、MEBQATは、従来の最適化やメトリックベースのメタラーニングを追加することで、任意のビット幅と見えないターゲットクラスにモデルを適応することもできる。 我々は(1)ビット幅適応型量子化シナリオと(2)量子化ビット幅と目的クラスの両方を併用した新しい数ショット学習シナリオの両方をサポートするMEBQATの変種を設計する。 複数のQAT方式の妥当性を実験的に実証した。 既存のビット幅適応型QATとバニラメタラーニングの性能を(ビット幅指定)QATと比較することにより、ビット幅をメタラーニングタスクにマージすることで、より高度なロバスト性が得られることがわかった。

関連論文リスト

• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• AdaQAT: Adaptive Bit-Width Quantization-Aware Training [0.873811641236639]
  大規模ディープニューラルネットワーク(DNN)は多くのアプリケーションシナリオで大きな成功を収めています。 モデル量子化は、デプロイメントの制約に対処する一般的なアプローチであるが、最適化されたビット幅の探索は困難である。 AdaQAT(Adaptive Bit-Width Quantization Aware Training)は,学習中のビット幅を自動的に最適化し,より効率的な推論を行う学習手法である。
  論文  参考訳（メタデータ） (2024-04-22T09:23:56Z)
• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning [22.31766292657812]
  混合精度量子化は、実際のトレーニングの前に、主にモデルビット幅設定を事前に決定する。 DQMQと呼ばれる新しいデータ品質対応混合精度量子化フレームワークを提案し、異なるデータ品質に量子化ビット幅を動的に適応させる。
  論文  参考訳（メタデータ） (2023-02-09T06:14:00Z)
• Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
  量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。 理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
  論文  参考訳（メタデータ） (2022-12-10T15:57:38Z)
• SDQ: Stochastic Differentiable Quantization with Mixed Precision [46.232003346732064]
  本稿では,MPQ戦略を自動的に学習できる新しい微分可能量子化(SDQ)手法を提案する。 最適なMPQ戦略が得られた後、エントロピーを意識したビン正規化と知識蒸留でネットワークを訓練する。 SDQは、最先端の混合データセット、または低いビット幅で単一精度の量子化よりも優れている。
  論文  参考訳（メタデータ） (2022-06-09T12:38:18Z)
• Online Meta Adaptation for Variable-Rate Learned Image Compression [40.8361915315201]
  この研究は、ディープニューラルネットワークに基づくエンドツーエンドの学習画像圧縮(lic)の2つの大きな問題に対処する。 我々は,条件付き変分自動エンコーダフレームワークにおけるメタラーニングとオンラインラーニングのアイデアを組み合わせた,licのオンラインメタラーニング(OML)設定を導入する。
  論文  参考訳（メタデータ） (2021-11-16T06:46:23Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Bit-Mixer: Mixed-precision networks with runtime bit-width selection [72.32693989093558]
  Bit-Mixerは、テスト時間中に任意のレイヤが入札幅を変更し、ネットワーク全体の精度の高い推論能力に影響を与えることなく、メタ量子ネットワークをトレーニングする最初の方法である。 本手法は, デバイス上での展開に望ましい柔軟性を示す複合精密ネットワークを, 精度を犠牲にすることなく実現できることを示した。
  論文  参考訳（メタデータ） (2021-03-31T17:58:47Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。