論文の概要: Recovering Low-Bit Failures in Vision-Language-Action Policies via Quantization-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.15675v1
• Date: Sun, 11 Oct 2026 14:56:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:16:09.440374
• Title: Recovering Low-Bit Failures in Vision-Language-Action Policies via Quantization-Conditioned Reinforcement Learning
• Title（参考訳）: 量子化強化学習によるビジョンランゲージ・アクション・ポリシーの低ビット障害の回復
• Abstract要約: 量子化はビジョンアクション(VLA)ポリシーのデプロイメントコストを下げるが、タスク完了を妥協する可能性がある。 5つのVLAモデルと4,050の実世界での試行において、量子化対応トレーニング(QAT)が一般に学習後の量子化(PTQ)を改善することを系統的に明らかにした。 本稿では,QCRL(Quantization-Conditioned Reinforcement Learning)を提案する。
• 参考スコア（独自算出の注目度）: 15.161820802467581
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Quantization lowers deployment costs of vision-language-action (VLA) policies but can compromise task completion. Across five VLA models and 4,050 real-world trials, we systematically reveal that quantization-aware training (QAT) generally improves on post-training quantization (PTQ) but leaves substantial gaps to full precision (FP) on long-horizon tasks and under visual and semantic shifts, while its imitation-based objective does not explicitly use rollout success or partial completion. To exploit these outcome signals, we introduce Quantization-Conditioned Reinforcement Learning (QCRL), an offline RL method coupling progress-based advantage estimation with quantization-aware source conditioning. FP rollouts supply reference experience beyond action-level distillation, progress-scaled terminal penalty distinguishes partial completion, and quantization-aware conditioning selects advantageous reference behavior within the quantized policy. We evaluate weight-only INT4 W4A16 on $π_{0.5}$ and GR00T N1.5 and joint weight-activation NVFP4 W4A4 on $π_{0.5}$. Using only in-distribution data, QCRL reaches 99.3% of FP's mean score across three visual-shift conditions for $π_{0.5}$ with INT4 W4A16, alongside 42.9% model-memory savings. With NVFP4 W4A4, it reaches 100.7% of the same FP baseline, alongside a $1.73\times$ speedup using NVFP4/FP8 deployment. Hardware gains are relative to FP16 on Jetson Thor.
• Abstract（参考訳）: 量子化は視覚言語アクション(VLA)ポリシーのデプロイメントコストを下げるが、タスク完了を妥協する可能性がある。 5つのVLAモデルと4,050の実世界の試行において、量子化対応トレーニング(QAT)は一般にポストトレーニング量子化(PTQ)を改善するが、長い水平タスクや視覚的および意味的なシフトにおいて、その模倣に基づく目的がロールアウト成功や部分完遂を明示的に用いていないにもかかわらず、FP(完全精度)にかなりのギャップを残していることを系統的に明らかにした。 これらの結果信号を利用するために、量子化対応ソース条件付きオフラインRL法結合手法であるQuantization-Conditioned Reinforcement Learning (QCRL)を導入する。 FPは、アクションレベルの蒸留以上の供給参照体験をロールアウトし、進行スケールの端末ペナルティは部分的な完了を区別し、量子化対応条件付けは、量子化ポリシー内で有利な参照行動を選択する。 重量のみのINT4 W4A16 on $π_{0.5}$およびGR00T N1.5 and joint weight-activation NVFP4 W4A4 on $π_{0.5}$。 分配データのみを用いて、QCRLは平均スコアの99.3%に達し、3つの視覚的シフト条件で、INT4 W4A16と42.9%のモデルメモリの節約を達成している。 NVFP4 W4A4では、同じFPベースラインの100.7%に達し、NVFP4/FP8デプロイメントを使用して1.73\times$のスピードアップを行う。 ハードウェアの利益はJetson ThorのFP16に比例する。

関連論文リスト

• QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs [28.506112762913393]
  本稿では,QATFactoryについて紹介する。QADと強化学習のためのオープンソースフレームワークである。 QATFactoryは、BF16で行列乗算を実行しながら、デプロイメント時間量子化をシミュレートする。 NVFP4、MXFP4、$text$のQ4_Kフォーマットをサポートする。
  論文  参考訳（メタデータ） (2026-09-30T08:00:35Z)
• SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference [4.219937026460372]
  SharQは、オンラインスパース-デンス分解による活性化空間とFP4量子化を橋渡しする。 スパースFP4 GEMMはバックボーンを処理し、密度の高いFP4 GEMMはマスク誘起活性化損失とスパースパス量子化誤差の両方を補償する。
  論文  参考訳（メタデータ） (2026-06-25T04:19:04Z)
• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• FP4 All the Way: Fully Quantized Training of LLMs [26.195547788434908]
  主に4ビット浮動小数点(FP4)の精度を用いて,大規模言語モデル(LLM)の完全量子化訓練(FQT)を実演する。 ブロックサイズ,スケーリングフォーマット,ラウンドメソッドなど,FP4の主要な設計選択について検討する。
  論文  参考訳（メタデータ） (2025-05-25T12:14:25Z)
• QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving [52.31791050376249]
  量子化は大規模言語モデル(LLM)の推論を加速させる。 4ビット重み、8ビットアクティベーション、4ビットKVキャッシュを備えたW4A8KV4量子化アルゴリズムQoQを導入する。 QServeは、Llama-3-8BをA100で1.2倍、L40Sで1.4倍、Qwen-721.5BをA100で2.4倍、L40Sで3.5倍、達成可能な最大機能を改善する。
  論文  参考訳（メタデータ） (2024-05-07T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。