Fugu-MT 論文翻訳(概要): Post-Training Quantization of Generative and Discriminative LSTM Text Classifiers: A Study of Calibration, Class Balance, and Robustness

論文の概要: Post-Training Quantization of Generative and Discriminative LSTM Text Classifiers: A Study of Calibration, Class Balance, and Robustness

arxiv url: http://arxiv.org/abs/2507.09687v1
Date: Sun, 13 Jul 2025 15:48:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-15 18:48:23.764681
Title: Post-Training Quantization of Generative and Discriminative LSTM Text Classifiers: A Study of Calibration, Class Balance, and Robustness
Title（参考訳）: 世代別および識別型LSTMテキスト分類器の学習後量子化:校正,クラスバランス,ロバスト性の検討
Authors: Md Mushfiqur Rahaman, Elliot Chang, Tasmiah Haque, Srinjoy Das,
Abstract要約: 生成的・識別的長短記憶(LSTM)に基づくテキスト分類モデルとポストトレーニング量子化(PTQ)の比較識別型分類器は頑健なままであるが、生成型分類器はビット幅、PTQで使用されるキャリブレーションデータ、量子化推論時の入力ノイズに敏感である。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text classification plays a pivotal role in edge computing applications like industrial monitoring, health diagnostics, and smart assistants, where low latency and high accuracy are both key requirements. Generative classifiers, in particular, have been shown to exhibit robustness to out-of-distribution and noisy data, which is an extremely critical consideration for deployment in such real-time edge environments. However, deploying such models on edge devices faces computational and memory constraints. Post Training Quantization (PTQ) reduces model size and compute costs without retraining, making it ideal for edge deployment. In this work, we present a comprehensive comparative study of generative and discriminative Long Short Term Memory (LSTM)-based text classification models with PTQ using the Brevitas quantization library. We evaluate both types of classifier models across multiple bitwidths and assess their robustness under regular and noisy input conditions. We find that while discriminative classifiers remain robust, generative ones are more sensitive to bitwidth, calibration data used during PTQ, and input noise during quantized inference. We study the influence of class imbalance in calibration data for both types of classifiers, comparing scenarios with evenly and unevenly distributed class samples including their effect on weight adjustments and activation profiles during PTQ. Using test statistics derived from nonparametric hypothesis testing, we identify that using class imbalanced data during calibration introduces insufficient weight adaptation at lower bitwidths for generative LSTM classifiers, thereby leading to degraded performance. This study underscores the role of calibration data in PTQ and when generative classifiers succeed or fail under noise, aiding deployment in edge environments.
Abstract（参考訳）: テキスト分類は、産業監視、健康診断、スマートアシスタントといったエッジコンピューティングアプリケーションにおいて重要な役割を果たす。特に、生成型分類器は、分布外およびノイズの多いデータに対して堅牢性を示すことが示されており、これはそのようなリアルタイムエッジ環境への展開において極めて重要な考慮事項である。しかし、エッジデバイスにそのようなモデルをデプロイすることは、計算とメモリの制約に直面している。ポストトレーニング量子化(PTQ)は、モデルのサイズと計算コストを再トレーニングせずに削減し、エッジデプロイメントに最適である。本稿では,Brevitas量子化ライブラリを用いたPTQを用いたLong Short Term Memory (LSTM)ベースのテキスト分類モデルについて,総合的に比較検討する。複数のビット幅にまたがる分類器モデルの評価を行い、その頑健さを正規および雑音の入力条件下で評価する。識別型分類器は頑健なままであるが、生成型分類器はビット幅、PTQで使用されるキャリブレーションデータ、量子化推論時の入力ノイズに敏感である。両分類器の校正データにおけるクラス不均衡の影響について検討し、PTQ中の重量調整やアクティベーションプロファイルへの影響を含む均等・不均一なクラスサンプルとの比較を行った。非パラメトリック仮説テストから得られたテスト統計を用いて、校正中のクラス不均衡データを用いることで、LSTM分類器の低ビット幅での重み適応が不十分になり、性能が低下することを明らかにした。本研究は、PTQにおける校正データの役割と、生成型分類器がノイズ下で成功または失敗した場合のエッジ環境への展開を補助する役割を明らかにする。

関連論文リスト

TTAQ: Towards Stable Post-training Quantization in Continuous Domain Adaptation [3.7024647541541014]
トレーニング後の量子化(PTQ)は、完全な精度のモデルを小さなキャリブレーションセット上で低ビット表現に量子化することで、ハードウェアの過大なコストを削減する。従来のPTQメソッドは、動的で絶え間なく変化する現実世界のシナリオで失敗することが多い。本稿では、従来のPTQの性能劣化に対処するため、TTAQと呼ばれるテスト時間適応のための新しい安定な量子化プロセスを提案する。
論文参考訳（メタデータ） (2024-12-13T06:34:59Z)
A Hybrid Framework for Statistical Feature Selection and Image-Based Noise-Defect Detection [55.2480439325792]
本稿では,統計的特徴選択と分類技術を統合し,欠陥検出精度を向上させるハイブリッドフレームワークを提案する。工業画像から抽出した55個の特徴を統計的手法を用いて解析した。これらの手法をフレキシブルな機械学習アプリケーションに統合することにより、検出精度を改善し、偽陽性や誤分類を減らす。
論文参考訳（メタデータ） (2024-12-11T22:12:21Z)
CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
論文参考訳（メタデータ） (2024-07-02T15:05:19Z)
Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
論文参考訳（メタデータ） (2024-02-17T10:34:53Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
論文参考訳（メタデータ） (2022-10-09T02:32:57Z)
CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文参考訳（メタデータ） (2022-06-01T03:02:07Z)
Radio Galaxy Zoo: Using semi-supervised learning to leverage large unlabelled data-sets for radio galaxy classification under data-set shift [0.0]
電波銀河の形態分類に応用した最先端半教師付き学習アルゴリズムより少ないラベルを持つSSLが、監督された最先端に匹敵するテスト精度を達成できるかどうかをテストする。改善は限られたラベルボリュームに限定され、低ラベルボリュームでは性能が急速に低下する。
論文参考訳（メタデータ） (2022-04-19T11:38:22Z)
Investigation of Different Calibration Methods for Deep Speaker Embedding based Verification Systems [66.61691401921296]
本稿では, ディープスピーカ埋込抽出器のスコアキャリブレーション法について検討する。この研究のさらなる焦点は、スコア正規化がシステムの校正性能に与える影響を推定することである。
論文参考訳（メタデータ） (2022-03-28T21:22:22Z)
Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文参考訳（メタデータ） (2021-10-22T01:55:01Z)
IB-GAN: A Unified Approach for Multivariate Time Series Classification under Class Imbalance [1.854931308524932]
GAN(Generative Adversarial Networks)による非パラメトリックデータ拡張は、有望なソリューションを提供する。本稿では,データ拡張と分類を1段階のプロセスで結合する新しい手法であるImputation Balanced GAN(IB-GAN)を提案する。
論文参考訳（メタデータ） (2021-10-14T15:31:16Z)
A Speaker Verification Backend with Robust Performance across Conditions [28.64769660252556]
話者検証の標準的な方法は、ディープニューラルネットワークを用いた話者埋め込みを抽出することである。この方法は、キャリブレーションモデルのトレーニングに使用されるものと異なる条件でうまく動作しないシステムをもたらすことが知られている。本稿では,入力の条件に適応するために,時間などの情報を自動的に抽出するアダプティブキャリブレータを導入することで,標準バックエンドを変更することを提案する。
論文参考訳（メタデータ） (2021-02-02T21:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。