論文の概要: Advanced Knowledge Transfer: Refined Feature Distillation for Zero-Shot Quantization in Edge Computing

• arxiv url: http://arxiv.org/abs/2412.19125v1
• Date: Thu, 26 Dec 2024 08:52:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:28:19.292335
• Title: Advanced Knowledge Transfer: Refined Feature Distillation for Zero-Shot Quantization in Edge Computing
• Title（参考訳）: 高度な知識伝達:エッジコンピューティングにおけるゼロショット量子化のための改良された特徴蒸留
• Authors: Inpyo Hong, Youngwan Jo, Hyojeong Lee, Sunghyun Ahn, Sanghyun Park,
• Abstract要約: AKT(Advanced Knowledge Transfer)は、低ビット量子化(Q)モデルのトレーニング能力を高める新しい手法である。 低ビットQモデルの基本勾配爆発問題に対処する。
• 参考スコア（独自算出の注目度）: 1.8067835669244101
• License:
• Abstract: We introduce AKT (Advanced Knowledge Transfer), a novel method to enhance the training ability of low-bit quantized (Q) models in the field of zero-shot quantization (ZSQ). Existing research in ZSQ has focused on generating high-quality data from full-precision (FP) models. However, these approaches struggle with reduced learning ability in low-bit quantization due to its limited information capacity. To overcome this limitation, we propose effective training strategy compared to data generation. Particularly, we analyzed that refining feature maps in the feature distillation process is an effective way to transfer knowledge to the Q model. Based on this analysis, AKT efficiently transfer core information from the FP model to the Q model. AKT is the first approach to utilize both spatial and channel attention information in feature distillation in ZSQ. Our method addresses the fundamental gradient exploding problem in low-bit Q models. Experiments on CIFAR-10 and CIFAR-100 datasets demonstrated the effectiveness of the AKT. Our method led to significant performance enhancement in existing generative models. Notably, AKT achieved significant accuracy improvements in low-bit Q models, achieving state-of-the-art in the 3,5bit scenarios on CIFAR-10. The code is available at https://github.com/Inpyo-Hong/AKT-Advanced-knowledge-Transfer.
• Abstract（参考訳）: ゼロショット量子化(ZSQ)分野における低ビット量子化(Q)モデルのトレーニング能力を高める新しい手法であるAKT(Advanced Knowledge Transfer)を導入する。 ZSQの既存の研究は、フル精度(FP)モデルから高品質なデータを生成することに重点を置いている。 しかし、これらの手法は情報容量が限られているため、低ビット量子化における学習能力の低下に苦慮している。 この制限を克服するために、データ生成と比較して効果的なトレーニング戦略を提案する。 特に, 特徴蒸留プロセスにおける特徴写像の精製がQモデルへの知識伝達に有効な方法であることを解析した。 この分析に基づいて、AKTはFPモデルからQモデルへのコア情報を効率的に転送する。 AKTは、ZSQにおける特徴蒸留における空間的およびチャネル的注意情報を利用するための最初のアプローチである。 低ビットQモデルの基本勾配爆発問題に対処する。 CIFAR-10とCIFAR-100データセットの実験は、AKTの有効性を実証した。 提案手法は,既存の生成モデルの性能向上に繋がった。 特に、AKTは低ビットQモデルの精度を大幅に向上させ、CIFAR-10の3,5ビットシナリオで最先端を実現した。 コードはhttps://github.com/Inpyo-Hong/AKT-Advanced-knowledge-Transferで公開されている。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)
• A New Knowledge Distillation Network for Incremental Few-Shot Surface Defect Detection [20.712532953953808]
  本稿では,DKAN(Dual Knowledge Align Network)と呼ばれる新しい知識蒸留ネットワークを提案する。 提案したDKAN法は,事前学習型ファインタニング伝達学習パラダイムを踏襲し,ファインタニングのための知識蒸留フレームワークを設計した。 Few-shot NEU-DETデータセットをインクリメンタルに実験した結果、DKANは様々なシーンで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-01T15:08:44Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Improving Question Answering Performance Using Knowledge Distillation and Active Learning [6.380750645368325]
  本稿では,事前学習したBERTシステムのパラメータとモデル複雑性を低減するために,新しい知識蒸留(KD)手法を提案する。 本モデルでは,TinyBERTとDistilBERTの合計パラメータの2%しか使用せず,6層TinyBERTとDistilBERTの性能を実証する。
  論文  参考訳（メタデータ） (2021-09-26T17:49:54Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Encoding Explanatory Knowledge for Zero-shot Science Question Answering [0.755972004983746]
  N-XKTは科学質問回答(QA)の精度と一般化を向上する N-XKTモデルはゼロショットQAの明確な改善を示している。 N-XKTモデルの性能を定量的に分析する系統解析を行う。
  論文  参考訳（メタデータ） (2021-05-12T15:42:50Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。