論文の概要: Quantization Meets OOD: Generalizable Quantization-aware Training from a Flatness Perspective

• arxiv url: http://arxiv.org/abs/2509.00859v1
• Date: Sun, 31 Aug 2025 14:05:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.433057
• Title: Quantization Meets OOD: Generalizable Quantization-aware Training from a Flatness Perspective
• Title（参考訳）: 量子化とOOD: フラットネスの観点からの一般化可能な量子化認識トレーニング
• Authors: Jiacheng Jiang, Yuan Meng, Chen Tang, Han Yu, Qun Li, Zhi Wang, Wenwu Zhu,
• Abstract要約: 本稿では,QAT(Quantization-Aware Training)手法が,アウト・オブ・ディストリビューション(OOD)データの潜在的な性能劣化を見落としていることを示す。 一般化可能なQATを実現するために,平坦性指向型QAT手法FQATを提案する。
• 参考スコア（独自算出の注目度）: 47.71882785472484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current quantization-aware training (QAT) methods primarily focus on enhancing the performance of quantized models on in-distribution (I.D) data, while overlooking the potential performance degradation on out-of-distribution (OOD) data. In this paper, we first substantiate this problem through rigorous experiment, showing that QAT can lead to a significant OOD generalization performance degradation. Further, we find the contradiction between the perspective that flatness of loss landscape gives rise to superior OOD generalization and the phenomenon that QAT lead to a sharp loss landscape, can cause the above problem. Therefore, we propose a flatness-oriented QAT method, FQAT, to achieve generalizable QAT. Specifically, i) FQAT introduces a layer-wise freezing mechanism to mitigate the gradient conflict issue between dual optimization objectives (i.e., vanilla QAT and flatness). ii) FQAT proposes an disorder-guided adaptive freezing algorithm to dynamically determines which layers to freeze at each training step, effectively addressing the challenges caused by interference between layers. A gradient disorder metric is designed to help the algorithm identify unstable layers during training. Extensive experiments on influential OOD benchmark demonstrate the superiority of our method over state-of-the-art baselines under both I.D and OOD image classification tasks.
• Abstract（参考訳）: 現在のQAT(quantization-aware training)は、主にIn-distriion (I.D)データにおける量子化モデルの性能向上に焦点をあて、out-of-distriion (OOD)データにおける潜在的なパフォーマンス劣化を見越す。 本稿では,この問題を厳密な実験により検証し,QATがOOD一般化性能を著しく低下させることを示す。 さらに、損失景観の平坦さがOOD一般化の優位性をもたらすという観点と、QATが急激な損失景観に繋がる現象との矛盾が、上記の問題を引き起こす可能性があることを見出した。 そこで本研究では,一般化可能なQATを実現するために,平坦性指向型QAT手法FQATを提案する。 具体的には 1FQATは、二重最適化目標(バニラQATと平坦性)間の勾配競合問題を緩和する階層的凍結機構を導入する。 二 FQATは、各トレーニングステップにおいて、どのレイヤを凍結させるかを動的に決定し、レイヤー間の干渉による課題を効果的に解決する、障害誘導適応凍結アルゴリズムを提案する。 勾配障害指標は、アルゴリズムがトレーニング中に不安定な層を特定するのに役立つように設計されている。 I.D と OOD の両画像分類タスクにおける最先端ベースラインよりも,我々の手法が優れていることを示す。

関連論文リスト

• Stabilizing Quantization-Aware Training by Implicit-Regularization on Hessian Matrix [0.7261171488281837]
  損失の急激な状況は、劇的なパフォーマンス低下を招き、不安定を引き起こす重要な要因であることがわかった。 本稿では, 定量化モデルに特徴蒸留法を適用し, 一般化するためのFPQを提案する。
  論文  参考訳（メタデータ） (2025-03-14T07:56:20Z)
• Directional Gradient Projection for Robust Fine-Tuning of Foundation Models [25.04763038570959]
  ディディショナル・グラディエント・プロジェクション(DiGraP)は、グラデーションからブリッジの正規化や多目的最適化に至るまでの方向性情報を階層的に学習可能な手法である。 まず,画像分類による視覚質問回答 (VQA) ベンチマークの分析により,一様・多モードのギャップを埋める。 実験結果から,DiGraPは画像分類やVQAタスクにおいて,識別的,生成的バックボーンで既存のベースラインを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2025-02-21T19:31:55Z)
• DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [73.6767681305851]
  野生のブラインド画像品質評価(IQA)は重大な課題を呈している。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:32:35Z)
• You Only Train Once: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment [45.62136459502005]
  本稿では,完全な参照 (FR) と非参照 (NR) IQA を行うネットワークを提案する。 まず、入力画像から多レベル特徴を抽出するためにエンコーダを用いる。 FRおよびNR入力のユニバーサルアダプタとして階層的注意(HA)モジュールを提案する。 エンコーダの浅い層と深い層との間の特徴相関を調べるために, セマンティック・ディストーション・アウェア (SDA) モジュールを提案する。
  論文  参考訳（メタデータ） (2023-10-14T11:03:04Z)
• Task-Specific Normalization for Continual Learning of Blind Image Quality Models [105.03239956378465]
  視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。 このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。 我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。 最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
  論文  参考訳（メタデータ） (2021-07-28T15:21:01Z)
• Norm-in-Norm Loss with Faster Convergence and Better Performance for Image Quality Assessment [20.288424566444224]
  画像品質評価(IQA)モデルにおける損失関数の設計における正規化について検討する。 結果として生じるNorm-in-Normの損失は、主観的品質スコアに対する線形予測をIQAモデルに促す。 2つの関連するデータセットの実験では、MAEやMSEの損失と比較して、新しい損失はIQAモデルを約10倍の速度で収束させることが示されている。
  論文  参考訳（メタデータ） (2020-08-10T04:01:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。