論文の概要: GLF-Q: Global-Local Feature-based Quantization for Vision Transformers

• arxiv url: http://arxiv.org/abs/2609.34564v1
• Date: Mon, 28 Sep 2026 08:16:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:20:45.095319
• Title: GLF-Q: Global-Local Feature-based Quantization for Vision Transformers
• Title（参考訳）: GLF-Q:視覚変換器のグローバルローカル特徴量に基づく量子化
• Abstract要約: 後トレーニング量子化(PTQ)は、再トレーニングせずにビジョントランスフォーマー(ViT)を効率よく圧縮するが、低ビット幅での精度の低下に悩まされる。 既存の最適化に基づくPTQ手法は、ソフトロジットまたは2階ヘッセンプロキシによるブロック再構築を誘導する。 我々は,グローバルローカルな特徴アライメントによってガイドされる新しいPTQフレームワークである textbfGLF-Q を提案する。
• 参考スコア（独自算出の注目度）: 9.836950534671775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization (PTQ) efficiently compresses Vision Transformers (ViTs) without retraining, yet suffers severe accuracy degradation at low bit-widths. Existing optimization-based PTQ methods guide block reconstruction via either soft logits or second-order Hessian proxies. Logit supervision is prone to overfitting on limited calibration data, while Hessian approximations incur structural truncation errors. To address these limitations, we propose \textbf{GLF-Q}, a novel PTQ framework guided by Global-Local Feature alignment. GLF-Q propagates quantized block outputs through downstream full-precision layers to align penultimate-layer representations under local output regularization, providing downstream feature supervision without explicitly approximating the Hessian or using a Taylor expansion. Furthermore, offline Hadamard transformations are introduced with zero runtime overhead to disperse activation outliers across channels, effectively contracting dynamic ranges and reducing quantization errors. Meanwhile, optimizing this loss via a Straight-Through Estimator (STE) achieves rapid convergence, bypassing continuous relaxation rounding formulations such as AdaRound. Extensive experiments across representative ViT architectures demonstrate that GLF-Q with standard uniform quantizers substantially outperforms state-of-the-art methods under 3-bit quantization on image classification. In addition, GLF-Q exhibits strong out-of-domain calibration robustness and achieves speedups under 8-bit GPU deployment.
• Abstract（参考訳）: 後トレーニング量子化(PTQ)は、再トレーニングせずにビジョントランスフォーマー(ViT)を効率よく圧縮するが、低ビット幅での精度の低下に悩まされる。 既存の最適化に基づくPTQ手法は、ソフトロジットまたは2階ヘッセンプロキシによるブロック再構築を誘導する。 ログ管理は、限られたキャリブレーションデータに過度に適合する傾向があり、ヘッセン近似は構造的トランケーションエラーを引き起こす。 これらの制約に対処するために,グローバルローカルな特徴アライメントによってガイドされる新しいPTQフレームワークである \textbf{GLF-Q} を提案する。 GLF-Qは、下流のフル精度層を通して量子化されたブロック出力を伝播し、局所的な出力正則化の下で垂直層表現を調整する。 さらに、オフラインのアダマール変換は実行時のオーバーヘッドをゼロにして導入され、チャネル間でアクティベーションアウトレイアを分散し、動的レンジを効果的に収縮させ、量子化エラーを低減する。 一方、STE(Straight-Through Estimator)によるこの損失の最適化は、AdaRoundのような連続緩和丸めの定式化を回避し、急速に収束する。 代表的 ViT アーキテクチャの広範な実験により、標準均一量子化器を用いた GLF-Q は、画像分類における3ビットの量子化の下で、最先端の手法を大幅に上回ることを示した。 さらに、GLF-Qは、領域外キャリブレーションの強い堅牢性を示し、8ビットGPUデプロイメント時のスピードアップを実現している。

関連論文リスト

• Error-Bounded Fixed-Point Design of Super-Sample-Rate IIR Filters for Real-Time Superconducting Qubit Flux Predistortion [3.120057900125145]
  超伝導プロセッサの2量子ゲートは線歪みの補正を必要とする。 クライオスコープによる歪み校正の以前の実証では、一般に商用のソリューションが用いられてきた。 我々は,QubiCプラットフォーム上のFIR/IIRカスケードをSI500MHzのファブリッククロック速度で実装する。
  論文  参考訳（メタデータ） (2026-09-15T01:22:31Z)
• Quantum Tilted Loss in Variational Optimization: Theory and Applications [2.274915755738124]
  最適化ランドスケープを再構築するために、Quantum Tilted Loss (QTL)を導入します。 QTLは、問題の真のグローバルなミニマを保ちながら、構造化された設定で勾配信号を増幅することができる。 トレーニング可能性と予測可能性のトレードオフを形式化し、アグレッシブな傾きが最適化のボトルネックを根本的に変えることを示す。
  論文  参考訳（メタデータ） (2026-05-04T17:25:43Z)
• Continual Quantum Architecture Search with Tensor-Train Encoding: Theory and Applications to Signal Processing [68.35481158940401]
  CL-QASは連続的な量子アーキテクチャ検索フレームワークである。 振幅のエンコードと変分量子回路の忘れを犠牲にすることの課題を緩和する。 制御可能なロバスト性表現性、サンプル効率の一般化、およびバレンプラトーを使わずに滑らかな収束を実現する。
  論文  参考訳（メタデータ） (2026-01-10T02:36:03Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• LRQ-DiT: Log-Rotation Post-Training Quantization of Diffusion Transformers for Image and Video Generation [41.66473889057111]
  Diffusion Transformer (DiTs) は、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成において、優れたパフォーマンスを実現している。 DiTsの高計算コストと大きなパラメータサイズは、リソース制約のあるシナリオでの利用に重大な課題をもたらす。 本稿では,映像・映像生成のための学習後量子化フレームワークLRQ-DiTを提案する。
  論文  参考訳（メタデータ） (2025-08-05T14:16:11Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
  平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。 本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
  論文  参考訳（メタデータ） (2025-04-03T11:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。