論文の概要: SACQ: Structure-Aware Codebook Quantization for Ultra-Low-Bit Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2610.41408v1
• Date: Fri, 30 Oct 2026 08:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.657356
• Title: SACQ: Structure-Aware Codebook Quantization for Ultra-Low-Bit Vision-Language-Action Models
• Title（参考訳）: SACQ:超低ビットビジョンランゲージ・アクションモデルのための構造対応コードブック量子化
• Abstract要約: VLA(Vision-Language-Action)モデルは、能力のあるロボットの動作を可能にするが、その大きなメモリフットプリントは、リソースに制約のあるロボットプラットフォームへのデプロイメントを制限する。 本稿では,超低ビット重みのみのベクトルコードブック量子化フレームワークであるSACQを紹介する。
• 参考スコア（独自算出の注目度）: 6.868097883081147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models enable capable robot behavior, but their large memory footprint limits deployment on resource-constrained robotic platforms. Weight quantization is a natural remedy, yet post-training quantization (PTQ) recipes inherited from large language models degrade when applied to VLAs at ultra-low precision. Existing low-bit PTQ methods often fail to explicitly account for the structure of downstream operations and allocate precision without considering its effect on the policy actions. We introduce SACQ, an ultra- low-bit weight-only vector-codebook quantization framework for VLAs. SACQ combines (1) structure-aware codebook fitting with role-specific quadratic metrics that reflect input statistics and downstream sensitivity; (2) action-aware mixed-bit allocation based on the increase in final-action error as individual layers are compressed; and (3) two-stage post-quantization refinement that reassigns codeword indices with second-order error compensation and calibrates codebooks and row-group scales against the decoded action. Using GR00T N1.7, SACQ achieves 93.85% average success across four LIBERO suites at 1.5 bits per language/action weight while reducing model memory by 4.83x. With INT8 activation quantization and low-precision attention, it retains 93.55% success while running 1.51x faster than BF16. On SimplER, SACQ further achieves 63.76% and 52.27% success under Visual Matching and Variant Aggregation at 2 bits per language/action weight, compared to 58.90% and 53.45% for BF16, respectively.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、能力のあるロボットの動作を可能にするが、その大きなメモリフットプリントは、リソースに制約のあるロボットプラットフォームへのデプロイメントを制限する。 ウェイト量子化(英: Weight Quantization)は、超低精度でVLAに適用した場合に、大きな言語モデルから受け継がれた、自然な治療法であるが、後学習量子化(PTQ)のレシピである。 既存の低ビットPTQ手法は、ダウンストリーム操作の構造を明示的に説明せず、ポリシーアクションへの影響を考慮せずに精度を割り当てることが多い。 本稿では,VLAのための超低ビット重みのみのベクトルコードブック量子化フレームワークであるSACQを紹介する。 SACQは,(1)入力統計量と下流感度を反映した役割特異的二次指標,(2)個々の層が圧縮されるときの最終動作誤差の増加に基づく行動認識混合ビット割り当て,(3)2次誤り補償と校正符号ブックと行群スケールを復号化して符号語インデックスを再割り当てする2段階後改良を組み合わせた。 SACQはGR00T N1.7を使用し、4つのLIBEROスイートで平均93.85%を言語/アクションの重みあたり1.5ビットで達成し、モデルメモリを4.83倍削減した。 INT8のアクティベーション量子化と低精度の注目により、BF16より1.51倍速く動作しながら93.55%の成功を維持している。 SimplER では、SACQ はさらに 63.76% と 52.27% を Visual Matching と Variant Aggregation で達成し、それぞれ BF16 では 58.90% と 53.45% である。

関連論文リスト

• AGQ: Action-Guided Ultra-Low-Bit Quantization for Vision-Language-Action Models [5.213250788055269]
  VLA(Vision-Constrained-action)モデルにより、ロボットは自然言語で指定されたタスクを実行できる。 超低ビット量子化は、このフットプリントを減らすが、タスク性能を保ち、重量回収コストを制御することは依然として困難である。 本稿では,動作感度と重み回復コストを併用したアクションガイド量子化法を提案し,ストレージ予算下で行列ビット幅を割り当てる。
  論文  参考訳（メタデータ） (2026-10-21T06:22:51Z)
• ActQuant: Sub-4-bit Action-Guided Quantization for Vision-Language-Action Models [45.62029693245481]
  本稿では,アクション誘導型混合精度PTQフレームワークであるActQuantを紹介する。 ActQuant は、(1) エージェントの動作の予測にどの程度貢献するかに基づいて、各重み行列に1ビット幅を割り当てるテンソル間ビットアロケータである。 我々はまた、効率的な低ビットカーネルを持つネイティブC/C++にポートするエージェント変換パイプラインであるOmniModelも導入した。
  論文  参考訳（メタデータ） (2026-05-19T19:57:26Z)
• RAMP: Reinforcement Adaptive Mixed Precision Quantization for Efficient On Device LLM Inference [1.1100764382749708]
  RAMP (Reinforcement Adaptive Mixed Precision) は、グローバルビット予算の下でパープレキシティを最小限に抑えるために、層幅の割り当て毎に学習する。 Llama 2 7Bでは、RAMPは3.68GB (3.65 ビット)で5.54パープレキシティを実現し、均一な4ビット AWQ (5.60 ビット、3.90 GB)と GPTQ を6%、品質は1%から3%向上した。
  論文  参考訳（メタデータ） (2026-03-18T16:16:28Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Exploring Layer-wise Information Effectiveness for Post-Training Quantization in Small Language Models [4.238165821317982]
  LieQは、極端に低ビット圧縮下でのサブ7Bモデルの精度を維持するという課題に対処するメトリック駆動フレームワークである。 提案手法では,3つの相補的レイヤワイド診断手法(パープレキシティ・ドロップ,表現コンパクト性,トップkエネルギーゲイン)を導入している。 Qwen3-4Bでは、2.05ビット量子化でFP16ベースライン性能の95.9%を回復し、GPTQを19.7%、AWQを18.1%上回った。
  論文  参考訳（メタデータ） (2025-08-05T11:17:04Z)
• CCQ: Convolutional Code for Extreme Low-bit Quantization in LLMs [25.32003624625106]
  畳み込み符号量子化(英: Convolutional Code Quantization、CCQ)は、大言語モデルを2.0-2.75ビットに圧縮する推論最適化量子化手法である。 コードブックと重みの線形マッピングが可能なルックアップフリーな符号化空間を構築する。 CCQ は様々なベンチマークにおいて LLM 上で優れた性能を発揮することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-09T06:04:14Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。