Fugu-MT 論文翻訳(概要): QMamba: Post-Training Quantization for Vision State Space Models

論文の概要: QMamba: Post-Training Quantization for Vision State Space Models

arxiv url: http://arxiv.org/abs/2501.13624v1
Date: Thu, 23 Jan 2025 12:45:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-24 15:58:06.547718
Title: QMamba: Post-Training Quantization for Vision State Space Models
Title（参考訳）: QMamba: ビジョンステートスペースモデルのためのポストトレーニング量子化
Authors: Yinglong Li, Xiaoyu Liu, Jiacheng Li, Ruikang Xu, Yinda Chen, Zhiwei Xiong,
Abstract要約: 状態空間モデル(SSM)は近年、ビジョンモデルに注目が集まっている。リソース制限されたエッジデバイスにSSMをデプロイする計算コストを考えると、PTQ(Post-Training Quantization)は、SSMの効率的なデプロイを可能にする技術である。本稿では,SSMにおけるアクティベーション分布の分析に基づいて,視覚SSM向けに設計された最初のPTQフレームワークであるQMambaを提案する。
参考スコア（独自算出の注目度）: 45.97843526485619
License:
Abstract: State Space Models (SSMs), as key components of Mamaba, have gained increasing attention for vision models recently, thanks to their efficient long sequence modeling capability. Given the computational cost of deploying SSMs on resource-limited edge devices, Post-Training Quantization (PTQ) is a technique with the potential for efficient deployment of SSMs. In this work, we propose QMamba, one of the first PTQ frameworks to our knowledge, designed for vision SSMs based on the analysis of the activation distributions in SSMs. We reveal that the distribution of discrete parameters exhibits long-tailed skewness and the distribution of the hidden state sequence exhibits highly dynamic variations. Correspondingly, we design Long-tailed Skewness Quantization (LtSQ) to quantize discrete parameters and Temporal Group Quantization (TGQ) to quantize hidden states, which reduces the quantization errors. Extensive experiments demonstrate that QMamba outperforms advanced PTQ methods on vision models across multiple model sizes and architectures. Notably, QMamba surpasses existing methods by 21.0% on ImageNet classification with 4-bit activations.
Abstract（参考訳）: Mamabaの重要なコンポーネントであるState Space Models (SSM)は、その効率的なロングシーケンスモデリング機能のおかげで、近年、ビジョンモデルに注目が集まっている。リソース制限されたエッジデバイスにSSMをデプロイする計算コストを考えると、PTQ(Post-Training Quantization)は、SSMの効率的なデプロイを可能にする技術である。そこで本研究では,SSMにおけるアクティベーション分布の分析に基づいて,視覚SSM向けに設計されたPTQフレームワークの1つであるQMambaを提案する。離散パラメータの分布は長い尾のねじみを示し,隠れ状態列の分布は極めてダイナミックな変動を示す。これに対応して、離散パラメータを量子化するLong-tailed Skewness Quantization (LtSQ)と、隠れ状態の量子化を行うTGQを設計し、量子化誤差を低減する。大規模な実験により、QMambaは複数のモデルサイズとアーキテクチャをまたいだビジョンモデルにおける高度なPTQ手法より優れていることが示された。特に、QMambaは4ビットのアクティベーションを持つImageNet分類で既存のメソッドを21.0%上回る。

関連論文リスト

Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
論文参考訳（メタデータ） (2024-11-23T06:36:16Z)
GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
論文参考訳（メタデータ） (2024-07-18T17:59:58Z)
Mamba-PTQ: Outlier Channels in Recurrent Large Language Models [49.1574468325115]
本研究では,マンバモデルが注目型LLMで観測された異常チャネルと同じパターンを示すことを示す。本研究では,SSMの定量化が難しい理由は,トランスフォーマーベースLLMで見られるような,アクティベーションアウトレーヤによるものであることを示す。
論文参考訳（メタデータ） (2024-07-17T08:21:06Z)
KalMamba: Towards Efficient Probabilistic State Space Models for RL under Uncertainty [18.611360495409087]
確率的状態空間モデル(SSM)は、制御のための簡潔な表現を提供するため、高次元部分的な情報から強化学習(RL)に不可欠である。本稿では,確率的SSMの強度と決定論的SSMのスケーラビリティを組み合わせたRLの表現を効率よく学習するKalMambaを提案する。
論文参考訳（メタデータ） (2024-06-21T13:27:36Z)
Q-S5: Towards Quantized State Space Models [41.94295877935867]
状態空間モデル(SSM)はトランスフォーマーの強力な代替品として登場した。本稿では,S5モデルに対する量子化の効果について検討し,そのモデル性能への影響について考察する。
論文参考訳（メタデータ） (2024-06-13T09:53:24Z)
DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
論文参考訳（メタデータ） (2024-05-24T05:46:04Z)
Multi-Scale VMamba: Hierarchy in Hierarchy Visual State Space Model [26.786890883280062]
状態空間モデル(SSM)は、その大域的受容場と線形複雑性のために広く注目を集めている。視覚タスクにおけるSSMの性能向上のために,マルチスキャン戦略が広く採用されている。本稿では,MSVMamba(Multi-Scale Vision Mamba)を導入し,限られたパラメータを持つ視覚タスクにおけるSSMの優位性を維持する。
論文参考訳（メタデータ） (2024-05-23T04:59:49Z)
The Hidden Attention of Mamba Models [54.50526986788175]
Mamba層は、複数のドメインをモデリングするのに非常に効果的である効率的な選択状態空間モデル(SSM)を提供する。このようなモデルを注意駆動モデルとみなすことができる。この新たな視点は、トランスの自己保持層のメカニズムを経験的かつ理論的に比較することを可能にする。
論文参考訳（メタデータ） (2024-03-03T18:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。