論文の概要: LoopQ: Fair, Closed-Loop Evaluation of Quantized Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2611.05093v1
• Date: Tue, 03 Nov 2026 15:51:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 14:30:04.819224
• Title: LoopQ: Fair, Closed-Loop Evaluation of Quantized Vision-Language-Action Models
• Title（参考訳）: LoopQ: 量子化ビジョンランゲージ・アクションモデルの公正かつ閉ループ評価
• Abstract要約: ビジョン言語アクション(VLA)モデルのための後トレーニング量子化(PTQ)は、より小さくより高速なVLAデプロイメントを実現する。 同一チェックポイント、レイヤ、エンジン上の複数の量子化ポリシーを比較するクローズドループベンチマークであるLoopQを提示する。 NVIDIA H100、L4、Jetson AGX Thorでベンチマークを行った。
• 参考スコア（独自算出の注目度）: 2.931240348160871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization (PTQ) for vision-language-action (VLA) models promises smaller and faster VLA deployments. However, when analyzing existing VLA quantization works, we realised that it is hard to reason about the performance of the suggested quantization method compared to existing, similar, or in many cases, simpler PTQ methods. We present LoopQ, a closed-loop benchmark that compares multiple quantization policies on the same checkpoint, layers and engine, varying only the method and the kernels. We evaluate RTN, AWQ, GPTQ, ActQuant and QuantVLA on four VLAs with more than 180,000 episodes of LIBERO and LIBERO-plus, compare against QVLA's reported results on the same layers, and benchmark whether the four public VLA-quantization releases can be reproduced. We benchmark the methods on an NVIDIA H100, an L4, and a Jetson AGX Thor. Our results show that while quantization reliably saves memory, 2-3x for real low-bit models, VLA-specific PTQ methods underperform compared to simpler generic baselines. At 4 bits, RTN, AWQ and GPTQ match or exceed ActQuant and QuantVLA, plain RTN matches the calibrated methods, and plain AWQ matches the success QVLA reports for itself. Standard LIBERO hides the losses that do exist: configurations with no significant LIBERO loss lose 1.5-4.3 points under paired LIBERO-plus perturbations. Speed is a weaker story. At batch 1 on the H100, no quantized pi0.5 or OpenVLA-OFT configuration is faster than its 16-bit model (1.06-1.58x slower on library kernels); only the L4 with int8 kernels gains (4-14%), the Thor is slower on every 4-bit configuration, and the engine alone changes latency by 2.1x. Profiling explains why: pi0.5's quantized backbone is compute-bound, while its memory-bound action expert, 63% of GPU time and 13% of the parameters, stays in 16 bits.
• Abstract（参考訳）: ビジョン言語アクション(VLA)モデルのための後トレーニング量子化(PTQ)は、より小さくより高速なVLAデプロイメントを実現する。 しかし,既存のVLA量子化法を解析する際には,提案した量子化法の性能について,既存のPTQ法と比較するのは難しいことが判明した。 我々は,同じチェックポイント,レイヤ,エンジン上で複数の量子化ポリシを比較し,メソッドとカーネルのみを変化させるクローズドループベンチマークであるLoopQを提案する。 RTN, AWQ, GPTQ, ActQuant, QuantVLAの4つのVLAに対して, LIBERO, LIBERO+の180,000回以上を比較検討した。 NVIDIA H100、L4、Jetson AGX Thorでベンチマークを行った。 その結果、量子化はメモリを確実に節約するが、実際の低ビットモデルでは2～3倍、VLA固有のPTQ法は単純な汎用ベースラインに比べて性能が劣ることがわかった。 RTN、AWQ、GPTQの4ビットはActQuant、QuantVLAを上回り、プレーンRTNは校正された方法と一致し、プレーンAWQはQVLAの成功レポートと一致している。 標準のLIBEROは、存在する損失を隠蔽する: 重要なLIBERO損失のない構成は、ペアのLIBERO+摂動の下で1.5-4.3ポイントを失う。 スピードはより弱い。 H100のバッチ1では、量子化されたpi0.5やOpenVLA-OFTの構成が16ビットモデルよりも高速(ライブラリカーネルでは1.06-1.58倍遅い)。 pi0.5の量子化されたバックボーンは計算バウンドであり、メモリバウンドなアクションエキスパートであるGPU時間の63%とパラメータの13%は16ビットに留まります。

関連論文リスト

• Quantize by Doing: Task-Guided Mixed-Precision Quantization of Vision-Language-Action Models [9.740410892223112]
  後学習量子化(PTQ)は視覚言語アクション(VLA)モデルのメモリフットプリントを削減する。 タスク誘導型混合精度量子化法である textbfQbD-VLA を提案する。 実験では、平均4ビットの重みとアクティベーションの6ビット未満の平均精度でタスク性能を示す。
  論文  参考訳（メタデータ） (2026-10-28T18:46:57Z)
• VLAQuantBench: Closed-Loop Evaluation of Post-Training Quantization for Vision-Language-Action Models [16.92949089246918]
  トレーニング後の量子化は、視覚言語アクション(VLA)モデルのメモリ要求を減少させる。 textbfVLAQuantBenchは409回の実行と94,574回のシミュレーションで評価される。 その結果、レシピに依存した相互作用を確立し、具体的な精度の割り当てを特定する。
  論文  参考訳（メタデータ） (2026-09-21T20:15:26Z)
• KurTail : Kurtosis-based LLM Quantization [51.24081396305435]
  KurTailは、大規模言語モデルのアクティベートにおいて、アウトレーヤを緩和する、新しいトレーニング後の量子化スキームである。 MMLUの精度は13.3%向上し、Wikiの難易度はQuaRotに比べて15.5%低下している。 また、SpinQuantを2.6%のMMLUゲインで上回り、パープレキシティを2.9%削減し、トレーニングコストを削減した。
  論文  参考訳（メタデータ） (2025-03-03T12:43:06Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving [52.31791050376249]
  量子化は大規模言語モデル(LLM)の推論を加速させる。 4ビット重み、8ビットアクティベーション、4ビットKVキャッシュを備えたW4A8KV4量子化アルゴリズムQoQを導入する。 QServeは、Llama-3-8BをA100で1.2倍、L40Sで1.4倍、Qwen-721.5BをA100で2.4倍、L40Sで3.5倍、達成可能な最大機能を改善する。
  論文  参考訳（メタデータ） (2024-05-07T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。