論文の概要: SteerQuant: Steering Quantization Error with Action-Guided Scaling in World-Action Models
- arxiv url: http://arxiv.org/abs/2609.39056v1
- Date: Wed, 30 Sep 2026 06:00:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.265277
- Title: SteerQuant: Steering Quantization Error with Action-Guided Scaling in World-Action Models
- Title（参考訳）: SteerQuant: World-Action Modelにおけるアクションガイドスケーリングによるステアリング量子化誤差
- Abstract要約: 量子化は推論コストを低減させるが、異なるストリームの数値誤差は最終的な動作に著しく異なる影響を与える可能性がある。
本稿では,WAMの4ビット量子化フレームワークであるSteerQuantを紹介する。
また,WAMのための4ビット推論エンジンであるRudderを開発し,スケーリングと出力補償を低ビットカーネルに融合させる。
- 参考スコア（独自算出の注目度）: 22.98743441380627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World-action models (WAMs) jointly generate future world states and actions through iterative denoising, using shared weights to process heterogeneous semantic streams of video, proprioceptive, and action tokens. Quantization reduces inference cost, but comparable numerical errors in different streams can have markedly different effects on final actions, making numerical accuracy alone insufficient for reliable control. We introduce SteerQuant, a 4-bit quantization framework for WAMs that steers errors toward computations with less influence on final actions. It maps how each stream's quantization errors affect final actions and uses this map to guide shared channel scaling. Activation scaling is further calibrated for each stream and denoising step to accommodate changes in activation ranges and action impact. This adapts quantization to different stream requirements without duplicating weights or increasing bit-widths for selected streams. To reduce the extra kernel launches and memory traffic introduced by scaling, we develop Rudder, a 4-bit inference engine for WAMs that fuses scaling and output compensation into low-bit kernels. Under W4A8 and W4A4, SteerQuant maintains mean LIBERO success within 0.8 percentage points of full precision, while delivering up to $2.23\times$ denoising speedup over BF16 across three WAMs with reduced peak GPU memory usage. On a real dual-arm robot, W4A8 deployment achieves a $1.35\times$ end-to-end inference speedup while maintaining average task success relative to BF16.
- Abstract（参考訳）: 世界行動モデル(WAM)は、共有重みを使って、ビデオ、プロジェノセプティブ、アクショントークンの異質なセマンティックストリームを処理する。
量子化は推論コストを低減させるが、異なるストリームの数値誤差は最終的な動作に著しく異なる影響を与えるため、信頼性の高い制御には数値精度が不十分である。
本稿では,WAMの4ビット量子化フレームワークであるSteerQuantを紹介する。
各ストリームの量子化エラーが最終動作にどのように影響するかをマップし、このマップを使用して共有チャネルのスケーリングをガイドする。
アクティベーションスケーリングは、各ストリームに対してさらに調整され、アクティベーション範囲やアクションインパクトの変化に対応するために、デノナイズステップが設定される。
これにより、重みを重複させたり、選択したストリームのビット幅を増大させることなく、異なるストリーム要求に量子化を適用する。
スケーリングによって導入される余分なカーネルの起動とメモリトラフィックを低減するため,低ビットカーネルへのスケーリングと出力補償を融合した,WAM用の4ビット推論エンジンであるRudderを開発した。
W4A8とW4A4の下では、SteerQuantはLIBEROの成功率は0.8パーセントの範囲内であり、最大2.23\times$2.23\timesの速度アップを3つのWAMで実現し、GPUメモリ使用量のピークを低減している。
実際のデュアルアームロボットでは、W4A8の配備は、BF16と比較して平均的なタスク成功を維持しながら、エンドツーエンドの推論速度アップで1.35\times$1.35\timesを達成する。
関連論文リスト
- Q-WAM: 4-Bit Quantization of World Action Models with Action-Subspace Protection [33.326130688074876]
モデルが生成する動作を保存したWAMのための新しい4ビット重み活性化量子化法を開発した。
我々は,3つのWAM上でのQ-WAMをシミュレーションおよび実世界の展開において評価した。
論文 参考訳（メタデータ） (2026-09-27T06:24:30Z) - QuantWAMs: Calibrating at the Right Granularity for World Action Models [34.540026172139406]
World Action Modelsは、将来の観測とアクションを共同で予測するが、反復的なデノゲーションとクローズドループの実行は、デプロイメントにコストがかかる。
我々は,量子化決定をモデル構造,ロールアウト分布,タスク目標によって定義されたキャリブレーションコンテキストと整合するPTQフレームワークQuantWAMを提案する。
我々は,RoboTwin 2.0,LIBERO,AgiBot G2を用いた実ロボット操作において,Fast-WAMおよびLingBot-VA上のQuantWAMを評価した。
論文 参考訳（メタデータ） (2026-07-30T15:54:29Z) - ActQuant: Sub-4-bit Action-Guided Quantization for Vision-Language-Action Models [45.62029693245481]
本稿では,アクション誘導型混合精度PTQフレームワークであるActQuantを紹介する。
ActQuant は、(1) エージェントの動作の予測にどの程度貢献するかに基づいて、各重み行列に1ビット幅を割り当てるテンソル間ビットアロケータである。
我々はまた、効率的な低ビットカーネルを持つネイティブC/C++にポートするエージェント変換パイプラインであるOmniModelも導入した。
論文 参考訳（メタデータ） (2026-05-19T19:57:26Z) - BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳（メタデータ） (2026-04-05T04:25:07Z) - MergeQuant: Accurate 4-bit Static Quantization of Large Language Models by Channel-wise Calibration [23.752021919501207]
本稿では,チャネルごとの静的量子化フレームワークであるMergeQuantを提案する。
MergeQuantは、量子化ステップマイグレーション(QSM)メソッドを通じて、チャネルごとの量子化ステップと対応するスケーリングと線形マッピングを統合する。
Llama-2-7Bモデルでは、MergeQuantはFP16ベースラインと比較してデコードで最大1.77倍、エンドツーエンドで最大2.06倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2025-03-07T04:52:28Z) - SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。
この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。
We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
論文 参考訳（メタデータ） (2024-11-07T18:59:58Z) - COMET: Towards Partical W4A4KV4 LLMs Serving [37.30529940231099]
量子化は、端末デバイスやクラウドデータセンターで大規模言語モデル(LLM)を提供するオーバーヘッドを低減するための圧縮技術である。
本稿では,ほとんどのアクティベーションを4ビットに圧縮し,精度損失を無視できる新しい混合精度量子化アルゴリズム(FMPQ)を提案する。
我々は、最適化されたW4Axカーネルを推論フレームワークCOMETに統合し、人気のあるLLMをサポートするための効率的な管理を提供する。
論文 参考訳（メタデータ） (2024-10-16T02:16:53Z) - Rotated Runtime Smooth: Training-Free Activation Smoother for accurate INT4 inference [54.2589824716527]
大規模言語モデルは、その大規模なため、相当な計算とメモリ移動コストを発生させる。
既存のアプローチでは、外れ値と通常の値を2つの行列に分けたり、アクティベーションからウェイトに移行したりしています。
Smooth と Rotation 操作からなる量子化のためのプラグ・アンド・プレイ・アクティベーション・スムーザである Rotated Smooth (RRS) を提案する。
提案手法は,LLaMAおよびQwenファミリーにおける最先端の手法より優れており,IF4推論におけるWikiText-2の難易度は57.33から6.66に向上している。
論文 参考訳（メタデータ） (2024-09-30T14:59:22Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳（メタデータ） (2020-11-20T23:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。