論文の概要: Beyond Reconstruction Loss in Post-Training Quantization: Balanced Fitting for Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.34765v1
• Date: Mon, 28 Sep 2026 09:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:06:42.012988
• Title: Beyond Reconstruction Loss in Post-Training Quantization: Balanced Fitting for Large Vision-Language Models
• Title（参考訳）: トレーニング後の量子化における再構成損失の超越:大規模ビジョンランゲージモデルのためのバランスの取れたフィッティング
• Abstract要約: 後学習量子化(PTQ)は、大規模視覚活性化モデル(LVLM)の効率的な展開を可能にする 近年のLVLMのPTQ法では感度信号が組み込まれているが,完全精度モデルでは再現損失が最小化されている。 本稿では、最適化を超えて精度と正規化のバランスをとる量子化効果に基づくフレームワークであるBa balanced Fittingを提案する。
• 参考スコア（独自算出の注目度）: 7.1292230757125905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization (PTQ) enables efficient deployment of large vision-language models (LVLMs), but is typically calibrated on a small set while expected to generalize across diverse downstream tasks. Although recent PTQ methods for LVLMs incorporate sensitivity signals, they still minimize reconstruction loss with respect to the full-precision model, potentially over-preserving FP behavior and calibration-specific bias. Rather than treating quantization solely as an error to be minimized, we observe that it can also provide beneficial regularization for certain layers and modalities. Motivated by this observation, we propose Balanced Fitting, a quantization effect-based framework that balances precision and regularization beyond reconstruction-based optimization. By measuring layer- and component-wise quantization effects for weights, vision activations, and text activations, Balanced Fitting combines fine-grained fitting for sensitive components with coarser fitting to exploit potential regularization benefits. Experiments on multiple LVLMs show that our method consistently outperforms prior PTQ approaches under both weight-only and weight-activation quantization, while lower reconstruction loss does not reliably translate into better downstream performance. The source code is publicly available at https://github.com/kmc3661/BFQ
• Abstract（参考訳）: 後学習量子化(PTQ)は大規模な視覚言語モデル(LVLM)の効率的な展開を可能にするが、通常、様々な下流タスクにまたがる一般化を期待しながら、小さなセットでキャリブレーションされる。 LVLMの最近のPTQ法では感度信号が組み込まれているが、フル精度モデル、潜在的に保存過剰なFP挙動、キャリブレーション特異的バイアスに対する再構成損失は最小限に抑えられている。 量子化を最小化するための誤差としてのみ扱うのではなく、特定の層やモダリティに対して有益な正則化を提供できることを観察する。 本研究は,再現に基づく最適化を超えて精度と正規化のバランスをとる量子化効果に基づくフレームワークであるBa balanced Fittingを提案する。 重み、視覚的アクティベーション、テキストアクティベーションの層とコンポーネントの量子化効果を測定することで、バランスド・フィッティングは機密コンポーネントのきめ細かいフィッティングと粗いフィッティングを組み合わせることで、潜在的な正則化の利点を活用できる。 複数のLVLM実験により、本手法は重量のみの量子化と重量活性化の量子化の両方でPTQ手法よりも常に優れており、低い再構成損失は下流性能に確実に変換されないことが示された。 ソースコードはhttps://github.com/kmc3661/BFQで公開されている。

関連論文リスト

• Saliency-Aware Regularized Quantization Calibration for Large Language Models [12.382772717031772]
  トレーニング後の量子化(PTQ)は、大きな言語モデル(LLM)をメモリとレイテンシの制約下でデプロイするための効果的なアプローチである。 既存のPTQ手法の多くは、所定のキャリブレーションデータセット上の層次再構成誤差を最小限に抑えて量子化パラメータを決定する。 提案された正則化は、キャリブレーションの間、量子化された重みが元の重みに近づき続けることを奨励し、推論時の一般化を改善させる。
  論文  参考訳（メタデータ） (2026-05-07T05:33:26Z)
• Rethinking Residual Errors in Compensation-based LLM Quantization [15.416446372209924]
  我々は、各量子化層の出力をその完全精度と整合させる非対称キャリブレーションプロセスを導入する。 残差は前層の出力差だけでなく,各層内の補償重みと原重みとの差からも生じる。 提案手法はGPTQとGPTAQの両方とシームレスに統合され,量子化性能が大幅に向上した。
  論文  参考訳（メタデータ） (2026-04-09T08:20:59Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
  平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。 本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
  論文  参考訳（メタデータ） (2025-04-03T11:48:56Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。