論文の概要: Q-S5: Towards Quantized State Space Models

• arxiv url: http://arxiv.org/abs/2406.09477v1
• Date: Thu, 13 Jun 2024 09:53:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 17:44:16.376148
• Title: Q-S5: Towards Quantized State Space Models
• Title（参考訳）: Q-S5:量子化された状態空間モデルを目指して
• Authors: Steven Abreu, Jens E. Pedersen, Kade M. Heckel, Alessandro Pierro,
• Abstract要約: 状態空間モデル(SSM)はトランスフォーマーの強力な代替品として登場した。 本稿では,S5モデルに対する量子化の効果について検討し,そのモデル性能への影響について考察する。
• 参考スコア（独自算出の注目度）: 41.94295877935867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the quest for next-generation sequence modeling architectures, State Space Models (SSMs) have emerged as a potent alternative to transformers, particularly for their computational efficiency and suitability for dynamical systems. This paper investigates the effect of quantization on the S5 model to understand its impact on model performance and to facilitate its deployment to edge and resource-constrained platforms. Using quantization-aware training (QAT) and post-training quantization (PTQ), we systematically evaluate the quantization sensitivity of SSMs across different tasks like dynamical systems modeling, Sequential MNIST (sMNIST) and most of the Long Range Arena (LRA). We present fully quantized S5 models whose test accuracy drops less than 1% on sMNIST and most of the LRA. We find that performance on most tasks degrades significantly for recurrent weights below 8-bit precision, but that other components can be compressed further without significant loss of performance. Our results further show that PTQ only performs well on language-based LRA tasks whereas all others require QAT. Our investigation provides necessary insights for the continued development of efficient and hardware-optimized SSMs.
• Abstract（参考訳）: 次世代のシーケンスモデリングアーキテクチャの探求において、状態空間モデル(SSM)はトランスフォーマーの強力な代替品として登場し、特に動的システムに対する計算効率と適合性のためである。 本稿では,S5モデルに対する量子化の効果について検討し,モデル性能への影響を理解し,エッジやリソース制約のあるプラットフォームへの展開を容易にする。 量子化学習(QAT)と後学習量子化(PTQ)を用いて、動的システムモデリング、シーケンスMNIST(sMNIST)、Long Range Arena(LRA)など、様々なタスクにおけるSSMの量子化感度を体系的に評価する。 テスト精度が sMNIST と LRA の大部分で1% 未満の完全量子化 S5 モデルを提案する。 その結果、ほとんどのタスクの性能は8ビット未満の繰り返し重みに対して著しく低下するが、他のコンポーネントは性能を著しく損なわずにさらに圧縮できることがわかった。 以上の結果から,PTQは言語ベースのLRAタスクでのみ有効であり,他はすべてQATを必要とすることがわかった。 本研究は,効率的なハードウェア最適化SSMの開発を継続する上で必要な知見を提供する。

関連論文リスト

• QMamba: Post-Training Quantization for Vision State Space Models [45.97843526485619]
  状態空間モデル(SSM)は近年、ビジョンモデルに注目が集まっている。 リソース制限されたエッジデバイスにSSMをデプロイする計算コストを考えると、PTQ(Post-Training Quantization)は、SSMの効率的なデプロイを可能にする技術である。 本稿では,SSMにおけるアクティベーション分布の分析に基づいて,視覚SSM向けに設計された最初のPTQフレームワークであるQMambaを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:45:20Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• LSTM-QGAN: Scalable NISQ Generative Adversarial Network [3.596166341956192]
  現在の量子生成敵ネットワーク(QGAN)は、実用規模のデータに苦戦している。 本稿では,QGANアーキテクチャであるLSTM-QGANを提案する。 実験の結果,LSTM-QGANは最先端QGANモデルよりも性能とスケーラビリティを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-09-03T18:27:15Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Graph Neural Networks for Parameterized Quantum Circuits Expressibility Estimation [5.074765131677166]
  本稿では,グラフニューラルネットワーク(GNN)を用いた量子回路の表現可能性推定手法を提案する。 我々は、ノイズのないIBM QASMシミュレータから25,000のサンプルと、3つのノイズの多い量子バックエンドから12,000のサンプルからなるデータセットを用いて、GNNモデルの予測能力を実証した。
  論文  参考訳（メタデータ） (2024-05-13T18:26:55Z)
• EfficientDM: Efficient Quantization-Aware Fine-Tuning of Low-Bit Diffusion Models [21.17675493267517]
  ポストトレーニング量子化(PTQ)と量子化学習(QAT)は、拡散モデルを圧縮・加速する2つの主要なアプローチである。 我々は、PTQのような効率でQATレベルの性能を実現するために、EfficientDMと呼ばれる低ビット拡散モデルのためのデータフリーかつパラメータ効率の微調整フレームワークを導入する。 提案手法は, PTQに基づく拡散モデルにおいて, 同様の時間とデータ効率を保ちながら, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-10-05T02:51:53Z)
• Modular Quantization-Aware Training for 6D Object Pose Estimation [52.9436648014338]
  エッジアプリケーションは、リソース制約された組み込みプラットフォーム上で効率的な6Dオブジェクトのポーズ推定を要求する。 本稿では,適応的かつ高精度な量子化学習戦略であるMQAT(Modular Quantization-Aware Training)を紹介する。 MQATは、モジュール固有のビット精度を導出し、モジュール固有の量子化シーケンスを導出し、最先端の均一および混合精度の量子化技術によって生成されたものより優れた量子化モデルをもたらす。
  論文  参考訳（メタデータ） (2023-03-12T21:01:54Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。