論文の概要: Q-WAM: 4-Bit Quantization of World Action Models with Action-Subspace Protection

• arxiv url: http://arxiv.org/abs/2609.33269v1
• Date: Sun, 27 Sep 2026 06:24:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:39:16.774054
• Title: Q-WAM: 4-Bit Quantization of World Action Models with Action-Subspace Protection
• Title（参考訳）: Q-WAM:アクションサブスペース保護を用いた世界行動モデルの4ビット量子化
• Abstract要約: モデルが生成する動作を保存したWAMのための新しい4ビット重み活性化量子化法を開発した。 我々は,3つのWAM上でのQ-WAMをシミュレーションおよび実世界の展開において評価した。
• 参考スコア（独自算出の注目度）: 33.326130688074876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World Action Models (WAMs) jointly generate video and robot actions through iterative diffusion and perform strongly in robotic manipulation. However, their prohibitive compute and memory costs pose substantial deployment challenges. Post-training quantization (PTQ) can reduce these costs, but existing PTQ methods such as smoothing and rotation are insufficient to maintain the precision of action generation. To overcome this limitation, we propose Q-WAM, a new 4-bit weight-activation quantization for WAMs that preserves the actions the model generates. Specifically, we introduce the \textit{Action Observability Gramian (AOG)}, which measures how much rounding errors in each weighted combination of a layer's input channels change the final action through all denoising steps. We also develop Action-Subspace Protection (ASP), which keeps the few most action-sensitive channel combinations in a tiny 16-bit low-rank branch and quantizes the complementary weights and activations to 4 bits, both as dense matrix multiplications that run efficiently on GPUs. Finally, to preserve action quality with minimal overhead, we identify the experts that matter most for the generated action by aggregating the AOG-derived action mass across the layers of each expert and apply ASP only to those experts. We evaluate Q-WAM on three WAMs, both in simulation and in real-world deployment. On the RoboTwin 2.0 benchmark, it reaches 89.6--93.0\% average success rate, within 1.1 percentage points of the 16-bit models, while reducing the memory of the quantized blocks by 3.1--3.4$\times$. Our method outperforms the strongest baseline, SVDQuant, by 2.5--8.7 percentage points. On a Unitree G1 humanoid and a bimanual UR3 robot, it improves success over SVDQuant by 12.8-17.6 percentage points.
• Abstract（参考訳）: World Action Models (WAM) は、反復拡散を通じてビデオとロボットのアクションを共同で生成し、ロボット操作に強く貢献する。 しかし、その禁止された計算とメモリのコストは、相当なデプロイ課題を引き起こす。 ポストトレーニング量子化(PTQ)はこれらのコストを削減できるが、スムージングや回転のような既存のPTQ手法では、アクション生成の精度を維持するには不十分である。 この制限を克服するために、モデルが生成するアクションを保存したWAMのための新しい4ビット重量活性化量子化であるQ-WAMを提案する。 具体的には,各レイヤの入力チャネルの重み付けされた組み合わせにおける丸め誤差が,全てのデノナイジングステップを通して最終動作を変更するかを測定する。 我々はまた、アクション・サブスペース保護(ASP)を開発し、最小のアクション・センシティブなチャネルの組み合わせを16ビットの低ランクブランチに保持し、補完的な重みとアクティベーションを4ビットに量子化する。 最後に、最小限のオーバーヘッドでアクション品質を維持するために、各専門家の層にAOG由来のアクション質量を集約し、これらの専門家にのみASPを適用することで、生成されたアクションに最も重要であると専門家を識別する。 我々は,3つのWAM上でのQ-WAMをシミュレーションおよび実世界の展開において評価した。 RoboTwin 2.0ベンチマークでは、16ビットモデルの平均成功率は89.6-93.0\%に達し、量子化されたブロックのメモリは3.1--3.4$\times$に減少する。 ユニツリーG1ヒューマノイドと2次元UR3ロボットでは、SVDQuantよりも12.8-17.6ポイント向上している。

関連論文リスト

• QuantWAMs: Calibrating at the Right Granularity for World Action Models [34.540026172139406]
  World Action Modelsは、将来の観測とアクションを共同で予測するが、反復的なデノゲーションとクローズドループの実行は、デプロイメントにコストがかかる。 我々は,量子化決定をモデル構造,ロールアウト分布,タスク目標によって定義されたキャリブレーションコンテキストと整合するPTQフレームワークQuantWAMを提案する。 我々は,RoboTwin 2.0,LIBERO,AgiBot G2を用いた実ロボット操作において,Fast-WAMおよびLingBot-VA上のQuantWAMを評価した。
  論文  参考訳（メタデータ） (2026-07-30T15:54:29Z)
• ActQuant: Sub-4-bit Action-Guided Quantization for Vision-Language-Action Models [45.62029693245481]
  本稿では,アクション誘導型混合精度PTQフレームワークであるActQuantを紹介する。 ActQuant は、(1) エージェントの動作の予測にどの程度貢献するかに基づいて、各重み行列に1ビット幅を割り当てるテンソル間ビットアロケータである。 我々はまた、効率的な低ビットカーネルを持つネイティブC/C++にポートするエージェント変換パイプラインであるOmniModelも導入した。
  論文  参考訳（メタデータ） (2026-05-19T19:57:26Z)
• Binary Quantization For LLMs Through Dynamic Grouping [13.578307208515819]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクで顕著なパフォーマンスを示している。 16ビットのBrain Floatから-1,1の1ビットの表現にモデル重みを圧縮するバイナリ量子化は、ストレージと推論コストを大幅に削減する。 本稿では,2値量子化に適した新しい最適化目標と,これを効果的に実現するための3つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-03T06:36:21Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。