論文の概要: Poster: Self-Supervised Quantization-Aware Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2309.13220v1
- Date: Fri, 22 Sep 2023 23:52:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 21:23:01.338972
- Title: Poster: Self-Supervised Quantization-Aware Knowledge Distillation
- Title(参考訳): ポスト:自己監督型量子化-知識蒸留
- Authors: Kaiqi Zhao, Ming Zhao
- Abstract要約: 量子化対応トレーニング(QAT)は、事前トレーニングされた完全精度モデルから始まり、再トレーニング中に量子化を実行する。
既存のQATの作業にはラベルの監督が必要であり、精度の低下による精度の低下に悩まされている。
本稿では,SQAKD(Self-Supervised Quantization-Aware Knowledge Distillation framework)を提案する。
- 参考スコア(独自算出の注目度): 6.463799944811755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantization-aware training (QAT) starts with a pre-trained full-precision
model and performs quantization during retraining. However, existing QAT works
require supervision from the labels and they suffer from accuracy loss due to
reduced precision. To address these limitations, this paper proposes a novel
Self-Supervised Quantization-Aware Knowledge Distillation framework (SQAKD).
SQAKD first unifies the forward and backward dynamics of various quantization
functions and then reframes QAT as a co-optimization problem that
simultaneously minimizes the KL-Loss and the discretization error, in a
self-supervised manner. The evaluation shows that SQAKD significantly improves
the performance of various state-of-the-art QAT works. SQAKD establishes
stronger baselines and does not require extensive labeled training data,
potentially making state-of-the-art QAT research more accessible.
- Abstract(参考訳): 量子化対応トレーニング(QAT)は、事前トレーニングされた完全精度モデルから始まり、再トレーニング中に量子化を実行する。
しかし、既存のQATはレーベルの監督を必要としており、精度の低下による精度の低下に悩まされている。
これらの制約に対処するため,本稿では,SQAKD(Self-Supervised Quantization-Aware Knowledge Distillation framework)を提案する。
SQAKDはまず、様々な量子化関数の前方と後方のダイナミクスを統一し、次に、KL-Lossと離散化誤差を同時に最小化する共最適化問題としてQATを再配置する。
評価の結果,SQAKDは様々な最先端QAT作品の性能を著しく向上させることがわかった。
SQAKDはより強力なベースラインを確立し、ラベル付きトレーニングデータを必要としない。
関連論文リスト
- Self-Supervised Speech Quality Estimation and Enhancement Using Only
Clean Speech [50.95292368372455]
ベクトル量子化変分オートエンコーダ(VQ-VAE)の量子化誤差に基づく音声評価のための自己教師付きメトリックであるVQScoreを提案する。
VQ-VAEのトレーニングはクリーン音声に依存するため、音声が歪んだときに大きな量子化誤差が期待できる。
また,ベクトル量子化機構は,自己教師付き音声強調(SE)モデルトレーニングにも有効であることがわかった。
論文 参考訳(メタデータ) (2024-02-26T06:01:38Z) - Push Quantization-Aware Training Toward Full Precision Performances via
Consistency Regularization [23.085230108628707]
量子アウェアトレーニング(QAT)の手法は、完全な精度(FP)向上に向けた性能を保証するために、ラベル付きデータセットや知識の蒸留に大きく依存する。
本稿では,QATのための一貫性規則化(CR)を導入する,シンプルで斬新だが強力な手法を提案する。
本手法は,異なるネットワークアーキテクチャと様々なQAT手法によく適応する。
論文 参考訳(メタデータ) (2024-02-21T03:19:48Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳(メタデータ) (2023-10-06T17:57:44Z) - RAND: Robustness Aware Norm Decay For Quantized Seq2seq Models [14.07649230604283]
モデル精度を向上させるために,量子化意識トレーニング(QAT)プロセスに対する低複雑性な変更を提案する。
精度が向上し、ノイズベースのQATの他の利点を活用できるようになる。
論文 参考訳(メタデータ) (2023-05-24T19:45:56Z) - Closed-book Question Generation via Contrastive Learning [20.644215991166895]
コントラスト学習モジュールと回答再構成モジュールを併用した新しいQGモデルを提案する。
提案手法を応用して,既存のクローズドブックQAシステムを改善する方法について述べる。
論文 参考訳(メタデータ) (2022-10-13T06:45:46Z) - SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed
Stochastic Quantization [13.075574481614478]
ベクトル量子化変分オートエンコーダ(VQ-VAE)の注目すべき問題は、学習された離散表現がコードブックの全容量のごく一部しか使用していないことである。
本稿では,新しい量子化法と量子化法により,標準VAEを拡張した新しいトレーニング手法を提案する。
実験の結果,SQ-VAEはコモンズを使わずにコードブックの利用を改善することがわかった。
論文 参考訳(メタデータ) (2022-05-16T09:49:37Z) - ProQA: Structural Prompt-based Pre-training for Unified Question
Answering [84.59636806421204]
ProQAは統一されたQAパラダイムであり、単一のモデルによって様々なタスクを解決する。
全てのQAタスクの知識一般化を同時にモデル化し、特定のQAタスクの知識カスタマイズを維持します。
ProQAは、フルデータの微調整、数ショットの学習、ゼロショットテストシナリオの両方のパフォーマンスを一貫して向上させる。
論文 参考訳(メタデータ) (2022-05-09T04:59:26Z) - QDrop: Randomly Dropping Quantization for Extremely Low-bit
Post-Training Quantization [54.44028700760694]
ポストトレーニング量子化(PTQ)は、長時間のリトレーニングなしに効率的なニューラルネットワークを生成するために多くの注目を集めている。
本研究では,PTQ再構成にアクティベーション量子化を適切に組み込むことで,最終的な精度が向上することを先駆的に確認する。
結論に基づき、QDROPと呼ばれる単純な効果的なアプローチが提案され、PTQ中のアクティベーションの量子化をランダムに減少させる。
論文 参考訳(メタデータ) (2022-03-11T04:01:53Z) - Quantum circuit architecture search on a superconducting processor [56.04169357427682]
変分量子アルゴリズム(VQA)は、ファイナンス、機械学習、化学といった様々な分野において、証明可能な計算上の優位性を得るための強力な証拠を示している。
しかし、現代のVQAで利用されるアンザッツは、表現性と訓練性の間のトレードオフのバランスをとることができない。
8量子ビット超伝導量子プロセッサ上でVQAを強化するために,効率的な自動アンサッツ設計技術を適用した最初の実証実験を実証する。
論文 参考訳(メタデータ) (2022-01-04T01:53:42Z) - Injecting Numerical Reasoning Skills into Knowledge Base Question
Answering Models [19.964729281684363]
本稿では,数値推論を考慮した埋め込み型KBQAフレームワークを提案する。
我々は,NT-NSMを作成するために,最先端の埋め込み型KBQAモデルであるNSM上の数値トランスフォーマーを提案する。
KBQAベンチマークの実験では、NT-NSMには数値推論スキルが備わっており、通常の制約された質問に答える際のベースラインを大幅に上回っていることが示されている。
論文 参考訳(メタデータ) (2021-12-12T01:30:29Z) - Task-Specific Normalization for Continual Learning of Blind Image
Quality Models [105.03239956378465]
視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。
このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。
我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。
最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
論文 参考訳(メタデータ) (2021-07-28T15:21:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。