論文の概要: TTAQ: Towards Stable Post-training Quantization in Continuous Domain Adaptation
- arxiv url: http://arxiv.org/abs/2412.09899v1
- Date: Fri, 13 Dec 2024 06:34:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 15:02:14.447323
- Title: TTAQ: Towards Stable Post-training Quantization in Continuous Domain Adaptation
- Title（参考訳）: TTAQ: 継続的ドメイン適応における安定的なポストトレーニング量子化を目指して
- Authors: Junrui Xiao, Zhikai Li, Lianwei Yang, Yiduo Mei, Qingyi Gu,
- Abstract要約: トレーニング後の量子化(PTQ)は、完全な精度のモデルを小さなキャリブレーションセット上で低ビット表現に量子化することで、ハードウェアの過大なコストを削減する。
従来のPTQメソッドは、動的で絶え間なく変化する現実世界のシナリオで失敗することが多い。
本稿では、従来のPTQの性能劣化に対処するため、TTAQと呼ばれるテスト時間適応のための新しい安定な量子化プロセスを提案する。
- 参考スコア（独自算出の注目度）: 3.7024647541541014
- License:
- Abstract: Post-training quantization (PTQ) reduces excessive hardware cost by quantizing full-precision models into lower bit representations on a tiny calibration set, without retraining. Despite the remarkable progress made through recent efforts, traditional PTQ methods typically encounter failure in dynamic and ever-changing real-world scenarios, involving unpredictable data streams and continual domain shifts, which poses greater challenges. In this paper, we propose a novel and stable quantization process for test-time adaptation (TTA), dubbed TTAQ, to address the performance degradation of traditional PTQ in dynamically evolving test domains. To tackle domain shifts in quantizer, TTAQ proposes the Perturbation Error Mitigation (PEM) and Perturbation Consistency Reconstruction (PCR). Specifically, PEM analyzes the error propagation and devises a weight regularization scheme to mitigate the impact of input perturbations. On the other hand, PCR introduces consistency learning to ensure that quantized models provide stable predictions for same sample. Furthermore, we introduce Adaptive Balanced Loss (ABL) to adjust the logits by taking advantage of the frequency and complexity of the class, which can effectively address the class imbalance caused by unpredictable data streams during optimization. Extensive experiments are conducted on multiple datasets with generic TTA methods, proving that TTAQ can outperform existing baselines and encouragingly improve the accuracy of low bit PTQ models in continually changing test domains. For instance, TTAQ decreases the mean error of 2-bit models on ImageNet-C dataset by an impressive 10.1\%.
- Abstract（参考訳）: ポストトレーニング量子化(PTQ)は、完全精度のモデルを小さなキャリブレーションセット上の低ビット表現に量子化し、再トレーニングすることなく過大なハードウェアコストを削減する。
最近の取り組みによる顕著な進歩にもかかわらず、従来のPTQメソッドは一般的に、予測不可能なデータストリームと継続的なドメインシフトを含む、動的で絶え間なく変化する現実のシナリオで失敗する。
本稿では、動的に進化するテストドメインにおける従来のPTQの性能劣化に対処するため、TTAQと呼ばれるテスト時間適応のための新しい安定量子化プロセスを提案する。
量子化器の領域シフトに対処するため、TTAQは摂動誤差緩和(PEM)と摂動一貫性再構築(PCR)を提案する。
具体的には、PEMはエラーの伝播を分析し、入力摂動の影響を軽減するために重み規則化スキームを考案する。
一方、PCRは一貫性学習を導入し、量子化されたモデルが同じサンプルに対して安定な予測を提供するようにした。
さらに,ABL(Adaptive Balanced Loss)を導入して,最適化中に予測不能なデータストリームによって引き起こされるクラス不均衡を効果的に解消し,その頻度と複雑性を生かしてロジットの調整を行う。
汎用的なTTA手法で複数のデータセット上で大規模な実験を行い、TTAQが既存のベースラインを上回り、連続的に変化するテスト領域において低ビットPTQモデルの精度を向上できることを証明した。
例えば、TTAQはImageNet-Cデータセット上の2ビットモデルの平均誤差を10.1\%削減する。
関連論文リスト
- Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳（メタデータ） (2024-04-02T05:34:33Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - Resilient Practical Test-Time Adaptation: Soft Batch Normalization
Alignment and Entropy-driven Memory Bank [24.096250529224914]
本稿では,パラメータのレジリエンスとデータ品質に着目した実践的なテスト時間適応手法(ResiTTA)を提案する。
我々は、タイムライン、過信サンプルの持続性、適応時の高品質なデータに対するサンプル不確かさを考慮に入れたエントロピー駆動型メモリバンクを使用する。
さまざまなベンチマークデータセット間でResiTTAを実証的に検証し、最先端のパフォーマンスを実証する。
論文 参考訳（メタデータ） (2024-01-26T03:24:55Z) - Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。
しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。
本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
論文 参考訳（メタデータ） (2023-11-30T02:24:44Z) - Generalized Robust Test-Time Adaptation in Continuous Dynamic Scenarios [18.527640606971563]
テスト時間適応(TTA)は、未ラベルのテストデータストリームのみを使用する推論フェーズにおいて、事前訓練されたモデルに分散をテストする。
本稿では,問題に効果的に対応する汎用ロバストテスト時間適応(GRoTTA)法を提案する。
論文 参考訳（メタデータ） (2023-10-07T07:13:49Z) - REALM: Robust Entropy Adaptive Loss Minimization for Improved
Single-Sample Test-Time Adaptation [5.749155230209001]
フルテスト時間適応(F-TTA)は、列車とテストデータの分散シフトによる性能損失を軽減することができる。
本稿では,F-TTAの雑音に対する堅牢性向上のための一般的な枠組みについて述べる。
論文 参考訳（メタデータ） (2023-09-07T18:44:58Z) - Benchmarking the Reliability of Post-training Quantization: a Particular
Focus on Worst-case Performance [53.45700148820669]
ポストトレーニング量子化(PTQ)は、独自のアーキテクチャやトレーニング手順を変更することなく、ディープニューラルネットワーク(DNN)を圧縮するための一般的な方法である。
その有効性と利便性にもかかわらず、分散シフトやデータノイズといった極端ケースの存在下でのPTQ手法の信頼性は明らかにされていない。
そこで本研究では,様々なPTQ手法を用いてこの問題について検討する。
論文 参考訳（メタデータ） (2023-03-23T02:55:50Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳（メタデータ） (2023-01-30T15:54:00Z) - Stabilizing Machine Learning Prediction of Dynamics: Noise and
Noise-inspired Regularization [58.720142291102135]
近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。
緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。
トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
論文 参考訳（メタデータ） (2022-11-09T23:40:52Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。