論文の概要: SSDi8: Accurate and Efficient 8-bit Quantization for State Space Duality

• arxiv url: http://arxiv.org/abs/2608.21952v1
• Date: Sat, 22 Aug 2026 13:29:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.937788
• Title: SSDi8: Accurate and Efficient 8-bit Quantization for State Space Duality
• Title（参考訳）: SSDi8: 状態空間二重性のための高精度で効率的な8ビット量子化
• Abstract要約: SSDi8は、構造化状態空間双対性(SSD)に特化して設計された最初のポストトレーニング量子化フレームワークである。 SSDi8は、チャネル変動のアクティベーションをコスト効率の点で適応的に定量化し、さらにレイテンシを低減する。 精度はFP16に匹敵するが、W4A8とW8A8の設定では1.4倍のスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 49.80188257904718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in sequence modeling have highlighted Mamba as a state space architecture offering efficient long-range dependency modeling and providing a viable alternative to Transformers. Building upon this, Mamba-2 introduces the Structured State Space Duality (SSD), which integrates recurrent and attention modes to achieve efficiency and scalability. However, this architectural expansion substantially increases memory and latency overhead, underscoring the need for efficient compression strategies tailored to SSD. In this work, we present SSDi8, the first post-training quantization framework specifically designed for SSD to maintain a persistent INT8 path. SSDi8 introduces a reformulation that decouples element-wise multiplications from matrix multiplications, enabling reuse of quantized activations across modules. Moreover, SSDi8 adaptively quantizes channel-varying activations at cost-effective points, further reducing latency. On the accuracy side, SSDi8 explicitly leverages the intrinsic dimensional decomposition of SSD, exploiting distinct outlier distributions across axes, and incorporates an error correction term based on per-channel error statistics. Comprehensive experiments demonstrate that SSDi8 achieves accuracy comparable to FP16 while delivering up to 1.4x speedup in W4A8 and W8A8 settings. We further validate its robustness in resource-constrained environments by deploying it on the Orin NX device.
• Abstract（参考訳）: シーケンスモデリングの最近の進歩は、効率的な長距離依存性モデリングとトランスフォーマーに代わる実行可能な代替手段を提供する状態空間アーキテクチャとして、Mambaを強調している。 Mamba-2はSSD(Structured State Space Duality)を導入し、リカレントモードとアテンションモードを統合して効率とスケーラビリティを実現する。 しかし、このアーキテクチャ拡張はメモリと遅延のオーバーヘッドを大幅に増加させ、SSDに合わせた効率的な圧縮戦略の必要性を浮き彫りにした。 本研究は, SSD が INT8 パスを持続的に維持するように設計された,最初のポストトレーニング量子化フレームワークである SSDi8 を紹介する。 SSDi8は、行列乗算から要素ワイズ乗算を分離する再構成を導入し、モジュール間の量子化アクティベーションの再利用を可能にした。 さらに、SSDi8は、チャネル変動のアクティベーションをコスト効率の点で適応的に定量化し、さらにレイテンシを低減する。 精度面では、SSDi8はSSDの内在的な次元分解を明示的に活用し、軸間の異なる外乱分布を利用し、チャネルごとの誤差統計に基づく誤り訂正項を組み込む。 総合的な実験では、SSDi8はFP16に匹敵する精度を達成し、W4A8とW8A8設定で1.4倍のスピードアップを実現している。 資源制約環境におけるロバスト性をさらに検証し,Orin NXデバイスに展開する。

関連論文リスト

• QuantSR+: Pushing the Limit of Quantized Image Super-Resolution Networks [63.04549067734431]
  低ビット量子化は超解像モデル(SR)の圧縮に広く用いられている。 しかし、SRモデルが超低精度(2-4ビット)にプッシュされると、性能は急激に低下する。 本稿では,量子化演算子,ネットワーク設計,トレーニング最適化を改善する統一フレームワークQuantSR+を提案する。
  論文  参考訳（メタデータ） (2026-05-21T11:38:52Z)
• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• BabyMamba-HAR: Lightweight Selective State Space Models for Efficient Human Activity Recognition on Resource Constrained Devices [0.0]
  ウェアラブルおよびモバイルデバイス上のヒューマンアクティビティ認識(HAR)は、メモリフットプリントと計算予算によって制限される。 選択状態空間モデル(SSM)は入力依存ゲーティングによる線形時間列処理を提供する。 BabyMamba-HARは、リソース制約されたHARのための2つの新しい軽量なMambaインスパイアされたアーキテクチャからなるフレームワークである。
  論文  参考訳（メタデータ） (2026-02-10T15:16:32Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Quamba2: A Robust and Scalable Post-training Quantization Framework for Selective State Space Models [23.045441347570886]
  ステートスペースモデル(SSM)は、一貫したメモリ使用量と高性能のため、トランスフォーマーの魅力的な代替品として浮上している。 これを解決するために、ビット幅の少ないデータフォーマットでSSMを定量化することで、モデルのサイズを減らし、ハードウェアアクセラレーションの恩恵を受けることができる。 We present Quamba2, compatible with W8A8, W4A8, W4A16 for both Mamba1 and Mamba2 backbones。
  論文  参考訳（メタデータ） (2025-03-28T21:10:39Z)
• Quamba: A Post-Training Quantization Recipe for Selective State Space Models [8.924779222965798]
  State Space Models (SSM) は、大きな言語モデルのためのTransformerに代わる魅力的な代替品として登場した。 本研究では,入力アクティベーションの最大値を選択的SSMに抑制する静的8ビットSSM量子化法を提案する。 8ビットのウェイトアクティベーションを量子化したMamba 2.8B SSMはハードウェアアクセラレーションの恩恵を受け、Nvidia Orin Nano 8Gでは1.72倍のレイテンシを実現しています。
  論文  参考訳（メタデータ） (2024-10-17T05:32:33Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• Systolic Tensor Array: An Efficient Structured-Sparse GEMM Accelerator for Mobile CNN Inference [16.812184391068786]
  モバイルデバイス上の畳み込みニューラルネットワーク(CNN)推論は、効率的なハードウェアアクセラレーションを必要とする。 systolic array (SA)は、処理要素(PE)のパイプライン化された2D配列である CNN推論を特に最適化するために,従来のSAアーキテクチャの2つの重要な改善点について述べる。
  論文  参考訳（メタデータ） (2020-05-16T20:47:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。