論文の概要: QT-DoG: Quantization-aware Training for Domain Generalization

• arxiv url: http://arxiv.org/abs/2410.06020v1
• Date: Tue, 8 Oct 2024 13:21:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 11:30:40.520021
• Title: QT-DoG: Quantization-aware Training for Domain Generalization
• Title（参考訳）: QT-DoG:領域一般化のための量子化対応トレーニング
• Authors: Saqib Javed, Hieu Le, Mathieu Salzmann,
• Abstract要約: 領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。 我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
• 参考スコア（独自算出の注目度）: 58.439816306817306
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Domain Generalization (DG) aims to train models that perform well not only on the training (source) domains but also on novel, unseen target data distributions. A key challenge in DG is preventing overfitting to source domains, which can be mitigated by finding flatter minima in the loss landscape. In this work, we propose Quantization-aware Training for Domain Generalization (QT-DoG) and demonstrate that weight quantization effectively leads to flatter minima in the loss landscape, thereby enhancing domain generalization. Unlike traditional quantization methods focused on model compression, QT-DoG exploits quantization as an implicit regularizer by inducing noise in model weights, guiding the optimization process toward flatter minima that are less sensitive to perturbations and overfitting. We provide both theoretical insights and empirical evidence demonstrating that quantization inherently encourages flatter minima, leading to better generalization across domains. Moreover, with the benefit of reducing the model size through quantization, we demonstrate that an ensemble of multiple quantized models further yields superior accuracy than the state-of-the-art DG approaches with no computational or memory overheads. Our extensive experiments demonstrate that QT-DoG generalizes across various datasets, architectures, and quantization algorithms, and can be combined with other DG methods, establishing its versatility and robustness.
• Abstract（参考訳）: ドメイン一般化(Domain Generalization, DG)は、トレーニング(ソース)ドメインだけでなく、新しい、目に見えないターゲットデータ分布でもうまく機能するモデルを訓練することを目的としている。 DGの重要な課題は、ソースドメインへの過度な適合を防止することだ。 そこで本研究では,QT-DoG(Quantization-Aware Training for Domain Generalization)を提案する。 モデル圧縮に焦点を当てた従来の量子化法とは異なり、QT-DoGは、モデル重み付けのノイズを誘導し、摂動や過度適合に敏感でないフラットなミニマに向けて最適化プロセスを導くことで、暗黙の正則化として量子化を利用する。 我々は、量子化が本質的により平坦なミニマムを促進し、ドメイン間のより良い一般化をもたらすことを示す理論的洞察と経験的証拠の両方を提供する。 さらに、量子化によるモデルサイズ削減の利点により、複数の量子化モデルのアンサンブルが、計算やメモリオーバーヘッドのない最先端のDGアプローチよりも精度が高いことを示す。 我々の広範な実験は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化し、他のDG手法と組み合わせて、その汎用性と堅牢性を確立することを実証している。

関連論文リスト

• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• Learning Gradient-based Mixup towards Flatter Minima for Domain Generalization [44.04047359057987]
  我々はFGMix(Flatness-aware Gradient-based Mixup)という新しい領域一般化アルゴリズムを開発した。 FGMixは、より良い一般化のためにフラットなミニマに向けて類似性関数を学ぶ。 DomainBedベンチマークでは、FGMixの様々な設計の有効性を検証し、他のDGアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-29T13:01:14Z)
• On Balancing Bias and Variance in Unsupervised Multi-Source-Free Domain Adaptation [6.2200089460762085]
  マルチソースフリードメイン適応(MSFDA)の方法は、典型的には、ソースモデルによって生成された擬似ラベル付きデータを使用してターゲットモデルを訓練する。 得られた対象モデルの一般化誤差に基づく情報理論境界を開発する。 次に、ドメインアグリゲーション、選択的な擬似ラベル付け、共同機能アライメントといった3つの視点から、このトレードオフのバランスをとる方法についての洞察を提供します。
  論文  参考訳（メタデータ） (2022-02-01T22:34:18Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)
• Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
  トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
  論文  参考訳（メタデータ） (2020-02-18T12:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。