論文の概要: GAQAT: gradient-adaptive quantization-aware training for domain generalization

• arxiv url: http://arxiv.org/abs/2412.05551v1
• Date: Sat, 07 Dec 2024 06:07:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:25.341126
• Title: GAQAT: gradient-adaptive quantization-aware training for domain generalization
• Title（参考訳）: GAQAT:領域一般化のための勾配適応量子化学習
• Authors: Jiacheng Jiang, Yuan Meng, Chen Tang, Han Yu, Qun Li, Zhi Wang, Wenwu Zhu,
• Abstract要約: そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
• 参考スコア（独自算出の注目度）: 54.31450550793485
• License:
• Abstract: Research on loss surface geometry, such as Sharpness-Aware Minimization (SAM), shows that flatter minima improve generalization. Recent studies further reveal that flatter minima can also reduce the domain generalization (DG) gap. However, existing flatness-based DG techniques predominantly operate within a full-precision training process, which is impractical for deployment on resource-constrained edge devices that typically rely on lower bit-width representations (e.g., 4 bits, 3 bits). Consequently, low-precision quantization-aware training is critical for optimizing these techniques in real-world applications. In this paper, we observe a significant degradation in performance when applying state-of-the-art DG-SAM methods to quantized models, suggesting that current approaches fail to preserve generalizability during the low-precision training process. To address this limitation, we propose a novel Gradient-Adaptive Quantization-Aware Training (GAQAT) framework for DG. Our approach begins by identifying the scale-gradient conflict problem in low-precision quantization, where the task loss and smoothness loss induce conflicting gradients for the scaling factors of quantizers, with certain layers exhibiting opposing gradient directions. This conflict renders the optimization of quantized weights highly unstable. To mitigate this, we further introduce a mechanism to quantify gradient inconsistencies and selectively freeze the gradients of scaling factors, thereby stabilizing the training process and enhancing out-of-domain generalization. Extensive experiments validate the effectiveness of the proposed GAQAT framework. On PACS, our 3-bit and 4-bit models outperform direct DG-QAT integration by up to 4.5%. On DomainNet, the 4-bit model achieves near-lossless performance compared to full precision, with improvements of 1.39% (4-bit) and 1.06% (3-bit) over the SOTA QAT baseline.
• Abstract（参考訳）: Sharpness-Aware Minimization (SAM) のような損失曲面幾何学の研究は、フラットなミニマが一般化を改善することを示している。 近年の研究では、フラットなミニマはドメイン一般化(DG)ギャップを減少させる可能性があることが明らかにされている。 しかし、既存の平坦度に基づくDG技術は、通常、低ビット幅の表現(例:4ビット、3ビット)に依存するリソース制約のエッジデバイスへの展開には実用的ではない、完全精度のトレーニングプロセス内で主に動作する。 したがって、これらの技術を現実世界のアプリケーションで最適化するためには、低精度量子化対応のトレーニングが不可欠である。 本稿では、量子化モデルに最先端DG-SAM法を適用する際に、性能の著しい劣化を観察し、現在の手法は、低精度トレーニングプロセスにおいて一般化性を維持することができないことを示唆する。 この制限に対処するために、DGのための新しいグラディエント適応量子化アウェアトレーニング(GAQAT)フレームワークを提案する。 提案手法は,タスク損失とスムースネス損失が量子化器のスケーリング因子の競合勾配を生じさせるような,低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 この矛盾は、量子化された重みの最適化を非常に不安定にする。 さらに, これを軽減するために, 勾配の不整合を定量化し, スケーリング因子の勾配を選択的に凍結する機構を導入し, トレーニングプロセスを安定化し, 領域外一般化の促進を図る。 GAQATフレームワークの有効性を検証する実験が盛んである。 PACSでは、我々の3ビットと4ビットのモデルはDG-QAT統合を最大4.5%上回っている。 DomainNetでは、4ビットモデルは、SOTA QATベースラインよりも1.39%(4ビット)と1.06%(3ビット)の改善により、完全な精度と比較してほぼロスレスのパフォーマンスを実現している。

関連論文リスト

• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。 我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Taming 3DGS: High-Quality Radiance Fields with Limited Resources [50.92437599516609]
  3D Gaussian Splatting (3DGS)は、高速で解釈可能で高忠実なレンダリングで新規ビュー合成を変換した。 予算で3DGSモデルをトレーニングし、レンダリングするという課題に取り組みます。 我々は、勾配計算と属性更新のための高速で数値的に等価な解を導出する。
  論文  参考訳（メタデータ） (2024-06-21T20:44:23Z)
• Gradient-based Automatic Mixed Precision Quantization for Neural Networks On-Chip [0.9187138676564589]
  本稿では,革新的な量子化学習手法である高粒度量子化(HGQ)を提案する。 HGQは、勾配降下によって最適化できるようにすることで、重量当たりおよび活動当たりの精度を微調整する。 このアプローチは、演算演算が可能なハードウェア上で、超低レイテンシと低電力ニューラルネットワークを実現する。
  論文  参考訳（メタデータ） (2024-05-01T17:18:46Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• SQuAT: Sharpness- and Quantization-Aware Training for BERT [43.049102196902844]
  シャープネスと量子化アウェアトレーニング(SQuAT)を提案する。 提案手法は,2,3,4ビット条件下で,最先端の量子化BERTモデルよりも1%向上する。 また, シャープネスの測定実験により, 他の量子化法と比較して, より平坦な最小値が得られることが示唆された。
  論文  参考訳（メタデータ） (2022-10-13T16:52:19Z)
• LG-LSQ: Learned Gradient Linear Symmetric Quantization [3.6816597150770387]
  精度の低いディープニューラルネットワークは、メモリスペースとアクセルパワーのコストの観点から利点がある。 量子化アルゴリズムに関連する主な課題は、低ビット幅での精度を維持することである。 低ビット幅での重みと活性化関数の定量化手法として、学習された勾配線形量子化(LG-LSQ)を提案する。
  論文  参考訳（メタデータ） (2022-02-18T03:38:12Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。