論文の概要: Test-Time Adaptation of Quantized ViTs via Single-Pass Quantizer-Aligned Recalibration

• arxiv url: http://arxiv.org/abs/2610.08358v1
• Date: Tue, 06 Oct 2026 13:48:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.016355
• Title: Test-Time Adaptation of Quantized ViTs via Single-Pass Quantizer-Aligned Recalibration
• Title（参考訳）: 単一パス量子化器適応型再校正による量子化 ViT の試行時間適応
• Abstract要約: トレーニング後の量子化は、視覚変換器(ViT)をエッジ計算やメモリ予算に適合させる標準的な方法である。 本稿では,量子化 ViT に適した単一パスTTA法であるQuarizer-Aligned Recalibration (QuAR) を提案する。 QuARは3,4-,6-,8-bitの重み/アクティベーション精度で最先端のバックプロップフリーTTA法の中で最高の平均精度を達成している。
• 参考スコア（独自算出の注目度）: 10.872071414434961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization is a standard route to fitting vision transformers (ViTs) into edge compute and memory budgets, yet quantized models become especially brittle under distribution shift. Test-time adaptation (TTA) addresses such shifts without labels, but most existing approaches are poorly aligned with the constraints of quantized inference. Prevailing TTA methods recover accuracy through backpropagation, while backprop-free methods often still incur overhead from extra forward passes or parameter updates, and lightweight feature- or logit-level methods recover only part of the loss. Across these approaches, a quantization-specific failure mode that amplifies the drop is not directly targeted: under shift, activations occupy frozen quantizers' calibrated ranges differently, distorting their code distribution. We propose Quantizer-Aligned Recalibration (QuAR), a single-pass TTA method tailored to quantized ViTs that neither backpropagates nor updates any model parameters. QuAR recalibrates activations at the input to a frozen quantizer, mapping the test stream's running per-channel statistics back toward the source calibration. On ImageNet-C with ViT-B, QuAR achieves the highest mean accuracy among state-of-the-art backprop-free TTA methods at 3-, 4-, 6- and 8-bit weight/activation precision, outperforming the strongest baseline by 2.28 points at 8 bits and 4.00 at 3 bits, with 46% lower latency and a memory overhead of only 0.17 MB (0.01% of peak inference memory). Analysis and diagnostics trace the gain to a reduced per-channel mismatch at these quantizers, which restores the code distribution the baselines leave unchanged or distort further. A single fixed configuration remains ahead across continual streams, non-i.i.d. label shift, seven out-of-distribution suites, and three other backbones.
• Abstract（参考訳）: トレーニング後の量子化は、視覚変換器(ViT)をエッジ計算やメモリ予算に適合させる標準的な方法である。 テスト時間適応(TTA)はラベルなしでそのようなシフトに対処するが、既存のほとんどのアプローチは量子化推論の制約に不整合である。 一般的なTTAメソッドは、バックプロパゲーションによって精度を回復するが、バックプロップフリーメソッドは、余分なフォワードパスやパラメータ更新からオーバーヘッドを発生させることが多い。 これらのアプローチ全体において、ドロップを増幅する量子化固有の障害モードは直接ターゲットにはならない:シフト中、アクティベーションは凍結量子化器の校正範囲を異なる方向に占有し、コード分布を歪ませる。 本稿では,量子化 ViT に適した単一パスTTA法であるQuarizer-Aligned Recalibration (QuAR) を提案する。 QuARは、入力時のアクティベーションを凍結量子化器に調整し、テストストリームのチャネルごとの統計データをソースキャリブレーションにマッピングする。 ViT-Bを用いたImageNet-Cでは、QuARは最先端のバックプロップフリーTTA法のうち3, 4-, 6-, 8-bitのウェイト/アクティベーション精度で最高の平均精度を達成し、最上位のベースラインを8ビットで2.28ポイント、3ビットで4.00ポイント、レイテンシは46%低下し、メモリオーバーヘッドは0.17MB(ピーク推論メモリの0.01%)である。 分析と診断は、これらの量子化器におけるチャネルごとのミスマッチが減少し、ベースラインが残したコード分布が変化したり歪んだりするのを辿る。 1つの固定された構成は、連続的なストリーム、非i.d.ラベルシフト、7つのアウト・オブ・ディストリビューション・スイート、および他の3つのバックボーンをまたいだままである。

関連論文リスト

• FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation [15.119045051735633]
  生成プロセスにメモリ機構を統合する新しい手法であるFLEETを紹介する。 ベンチマーク評価の結果、FLEETは繰り返しサンプリングベースラインと同じ精度で3倍の高速化を実現している。 ここで評価したgreedy-decoding設定では、アプローチは決定論的であり、単一のキャリブレーションパスを使用する。
  論文  参考訳（メタデータ） (2026-09-23T10:26:25Z)
• PRQuant: Permutation Residual Quantization for Low-Overhead Inference [24.634574269826164]
  重み量子化のためのトレーニング不要かつ低オーバーヘッドなフレームワークであるPRQuant(Permutation Residual Quantization)を提案する。 PRQuantは、ウェイト量子化エラーに最も寄与する入力チャネルを特定し、それらを連続したテールブロックに置換し、残りのウェイトサブテンソルをオフラインに構築する。 PRQuantは、ダウンプロジェクションの復元エラーを効果的に低減することを示す実験である。
  論文  参考訳（メタデータ） (2026-08-16T12:04:26Z)
• Recurrent Residual Quantization: A Progressive Multi-Precision Representation for LLMs [9.68624792431081]
  本稿では,学習後の量子化フレームワークであるRecurrent Residual Quantization (RRQ)を紹介する。 RRQは、重みを低ビットの量子化された基底として表し、量子化された残差補正の列を表わす。 Qwen3-8Bでは,全RTN 2-/4-/6-/8-bitパッケージを1,293秒で構築した。
  論文  参考訳（メタデータ） (2026-08-04T08:32:05Z)
• Q-Drift: Quantization-Aware Drift Correction for Diffusion Model Sampling [45.88028371034407]
  ポストトレーニング量子化(PTQ)は、大規模な拡散モデルを展開するための実践的な方法である。 本稿では,量子化誤差を暗黙の摂動として扱うQ-Driftを提案する。 Q-Driftは、キャリブレーションから時間的変動統計を推定し、実際には5つの完全精度/量子化キャリブレーションを必要とする。
  論文  参考訳（メタデータ） (2026-03-18T10:19:36Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Quantized Visual Geometry Grounded Transformer [67.15451442018258]
  本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。 球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。 また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
  論文  参考訳（メタデータ） (2025-09-25T15:17:11Z)
• TCUQ: Single-Pass Uncertainty Quantification from Temporal Consistency with Streaming Conformal Calibration for TinyML [0.0]
  TCUQは、TinyMLをストリーミングするためのシングルパスでラベルなしの不確実性モニタである。 後部の光信号によって捉えた短地平線時間一貫性を変換する。 ストリーミングコンフォメーション層は、このスコアを予算付きアクセプション/アビスタンスルールに変換する。
  論文  参考訳（メタデータ） (2025-08-18T13:12:14Z)
• APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
  平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。 本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
  論文  参考訳（メタデータ） (2025-04-03T11:48:56Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。