論文の概要: Test-Time Model Adaptation for Quantized Neural Networks

• arxiv url: http://arxiv.org/abs/2508.02180v1
• Date: Mon, 04 Aug 2025 08:24:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.249037
• Title: Test-Time Model Adaptation for Quantized Neural Networks
• Title（参考訳）: 量子化ニューラルネットワークのためのテスト時間モデル適応
• Authors: Zeshuai Deng, Guohao Chen, Shuaicheng Niu, Hui Luo, Shuhai Zhang, Yifan Yang, Renjie Chen, Wei Luo, Mingkui Tan,
• Abstract要約: 量子化モデルは、潜在的なドメインシフトを伴う動的環境において、深刻なパフォーマンス劣化に悩まされることが多い。 テスト時間適応(TTA)は、モデルがテストデータから適応的に学習できるようにすることによって、効果的なソリューションとして登場した。 本稿では,2つのフォワードパスのみを用いた効率的なモデル適応を実現するための連続ゼロ階適応(ZOA)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 37.84294929199108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantizing deep models prior to deployment is a widely adopted technique to speed up inference for various real-time applications, such as autonomous driving. However, quantized models often suffer from severe performance degradation in dynamic environments with potential domain shifts and this degradation is significantly more pronounced compared with their full-precision counterparts, as shown by our theoretical and empirical illustrations. To address the domain shift problem, test-time adaptation (TTA) has emerged as an effective solution by enabling models to learn adaptively from test data. Unfortunately, existing TTA methods are often impractical for quantized models as they typically rely on gradient backpropagation--an operation that is unsupported on quantized models due to vanishing gradients, as well as memory and latency constraints. In this paper, we focus on TTA for quantized models to improve their robustness and generalization ability efficiently. We propose a continual zeroth-order adaptation (ZOA) framework that enables efficient model adaptation using only two forward passes, eliminating the computational burden of existing methods. Moreover, we propose a domain knowledge management scheme to store and reuse different domain knowledge with negligible memory consumption, reducing the interference of different domain knowledge and fostering the knowledge accumulation during long-term adaptation. Experimental results on three classical architectures, including quantized transformer-based and CNN-based models, demonstrate the superiority of our methods for quantized model adaptation. On the quantized W6A6 ViT-B model, our ZOA is able to achieve a 5.0\% improvement over the state-of-the-art FOA on ImageNet-C dataset. The source code is available at https://github.com/DengZeshuai/ZOA.
• Abstract（参考訳）: デプロイ前にディープモデルを量子化することは、自律運転など、さまざまなリアルタイムアプリケーションの推論を高速化する技術として広く採用されている。 しかしながら、量子化モデルは、潜在的なドメインシフトを持つ動的環境において、深刻な性能劣化に悩まされることが多く、この劣化は、我々の理論的および実証的な図示で示されるように、その完全精度と比較して著しく顕著に顕著である。 ドメインシフト問題に対処するために、テストデータからモデルを適応的に学習させることにより、テスト時間適応(TTA)が効果的なソリューションとして登場した。 残念ながら、既存のTTAメソッドは、通常グラデーションバックプロパゲーションに依存するため、量子化モデルでは実用的ではない。 本稿では,量子化モデルに対するTTAに着目し,その堅牢性と一般化能力を効率的に向上する。 本稿では,従来の手法の計算負担を軽減し,2つの前方パスのみを用いた効率的なモデル適応を実現するための連続ゼロ階適応(ZOA)フレームワークを提案する。 さらに,異なるドメイン知識を無視可能なメモリ消費で保存・再利用し,異なるドメイン知識の干渉を低減し,長期適応時の知識蓄積を促進するドメイン知識管理手法を提案する。 量子化変換器モデルとCNNモデルを含む3つの古典的アーキテクチャの実験結果は、量子化モデル適応のための手法の優位性を実証している。 The Quantized W6A6 ViT-B model, our ZOA can achieve a 5.0\% improve than the State-of-the-art FOA on ImageNet-C dataset。 ソースコードはhttps://github.com/DengZeshuai/ZOA.comで入手できる。

関連論文リスト

• Enhancing material behavior discovery using embedding-oriented Physically-Guided Neural Networks with Internal Variables [0.0]
  内部変数を持つ物理的ガイド付きニューラルネットワークは、トレーニングや内部状態関係の解明に可観測データのみを使用するSciMLツールである。 それらの可能性にもかかわらず、これらのモデルは、細粒度空間場や時間進化システムのような高次元データに適用する場合、スケーラビリティの課題に直面している。 本稿では,これらのスケーラビリティの限界に対処するPGNNIVフレームワークの改良について,低次モデリング手法を用いて提案する。
  論文  参考訳（メタデータ） (2025-08-01T12:33:21Z)
• Improving Batch Normalization with TTA for Robust Object Detection in Self-Driving [26.038699227233227]
  本稿では、自律運転における物体検出のためのTTAによるバッチ正規化を改善するための2つの新しいロバスト手法を提案する。 本稿では,一般探索エントロピー最小化法(GSEM)に基づく学習可能なBN層を提案する。 本稿では,モデルが最適解を反復的に探索することを奨励する,セマンティック一貫性に基づく2段階適応戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-28T01:59:34Z)
• Optimization of DNN-based speaker verification model through efficient quantization technique [15.250677730668466]
  ディープモデルの量子化は、計算コストとメモリコストの両方を削減する手段を提供する。 本研究では,話者検証モデルの定量化のための最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-12T05:03:10Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
  モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。 提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-07T19:02:13Z)
• Fast-Slow Test-Time Adaptation for Online Vision-and-Language Navigation [67.18144414660681]
  オンラインビジョン・アンド・ランゲージナビゲーション(VLN)のためのFSTTA(Fast-Slow Test-Time Adaptation)アプローチを提案する。 提案手法は,4つのベンチマークにおいて顕著な性能向上を実現する。
  論文  参考訳（メタデータ） (2023-11-22T07:47:39Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
  本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。 量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
  論文  参考訳（メタデータ） (2022-08-11T04:04:03Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。