論文の概要: QS4D: Quantization-aware training for efficient hardware deployment of structured state-space sequential models

• arxiv url: http://arxiv.org/abs/2507.06079v1
• Date: Tue, 08 Jul 2025 15:19:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:38.257964
• Title: QS4D: Quantization-aware training for efficient hardware deployment of structured state-space sequential models
• Title（参考訳）: QS4D:構造化状態空間シーケンシャルモデルの効率的なハードウェア展開のための量子化対応トレーニング
• Authors: Sebastian Siegel, Ming-Jay Yang, Younes Bouhadjar, Maxime Fabre, Emre Neftci, John Paul Strachan,
• Abstract要約: 構造化状態空間モデル(Structured State Space Model, SSM)は、ディープラーニングモデルの新しいクラスとして登場した。 QATは、様々なパフォーマンス指標において、SSMの複雑さを最大2桁まで減少させることができる。 その結果,QATはアナログノイズに対する堅牢性を高め,構造的プルーニングを可能にすることがわかった。
• 参考スコア（独自算出の注目度）: 0.8474310104568011
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Structured State Space models (SSM) have recently emerged as a new class of deep learning models, particularly well-suited for processing long sequences. Their constant memory footprint, in contrast to the linearly scaling memory demands of Transformers, makes them attractive candidates for deployment on resource-constrained edge-computing devices. While recent works have explored the effect of quantization-aware training (QAT) on SSMs, they typically do not address its implications for specialized edge hardware, for example, analog in-memory computing (AIMC) chips. In this work, we demonstrate that QAT can significantly reduce the complexity of SSMs by up to two orders of magnitude across various performance metrics. We analyze the relation between model size and numerical precision, and show that QAT enhances robustness to analog noise and enables structural pruning. Finally, we integrate these techniques to deploy SSMs on a memristive analog in-memory computing substrate and highlight the resulting benefits in terms of computational efficiency.
• Abstract（参考訳）: 構造化状態空間モデル(Structured State Space Model, SSM)は、最近、ディープラーニングモデルの新しいクラスとして登場し、特に長いシーケンスを処理するのに適している。 それらのメモリフットプリントは、Transformersの線形にスケールするメモリ要求とは対照的に、リソース制約のあるエッジコンピューティングデバイスにデプロイする際の魅力的な候補となっている。 近年の研究では、QAT(quantization-aware training)がSSMに与える影響について検討されているが、一般的には特殊なエッジハードウェア、例えばアナログインメモリ・コンピューティング(AIMC)チップに対するその影響に対処していない。 本研究では,様々なパフォーマンス指標に対して,QATがSSMの複雑さを最大2桁まで低減できることを実証する。 モデルサイズと数値精度の関係を解析し、QATがアナログノイズに対する頑健性を高め、構造的プルーニングを可能にすることを示す。 最後に,これらの手法を統合して,メモリ内メモリのメモリ内メモリ間類似処理基板上にSSMをデプロイし,計算効率の面でのメリットを浮き彫りにする。

関連論文リスト

• MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling [60.648359990090846]
  状態空間モデル(SSM)は、最近、計算コストのかかるシーケンスモデルに対する効率的な代替手段として注目されている。 本稿では,複数の解像度にまたがるシーケンスダイナミクスを表現するマルチスケールSSMフレームワークを提案し,各解像度を特殊な状態空間ダイナミクスで処理する。
  論文  参考訳（メタデータ） (2025-12-29T19:36:28Z)
• Compute-in-Memory Implementation of State Space Models for Event Sequence Processing [10.673140569452274]
  状態空間モデル(SSM)は、長いシーケンス処理のための強力なフレームワークとして登場した。 本稿では,リアルタイムなイベント駆動処理を実現するために,エネルギー効率の高い計算インメモリハードウェアにSSMを実装する手法を提案する。
  論文  参考訳（メタデータ） (2025-11-17T21:06:52Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Structured Sparse Transition Matrices to Enable State Tracking in State-Space Models [68.31088463716269]
  状態空間モデル(SSM)における遷移行列の構造的スパースパラメトリゼーションを提案する。 我々の方法PD-SSMは、遷移行列をカラム1ホット行列(P$)と複素数値対角行列(D$)の積としてパラメータ化する。 このモデルは、様々なFSA状態追跡タスクにおいて、現代のSSMの多種多様なバリエーションを著しく上回っている。
  論文  参考訳（メタデータ） (2025-09-26T12:46:30Z)
• HPD: Hybrid Projection Decomposition for Robust State Space Models on Analog CIM Hardware [4.727184737671133]
  ステートスペースモデル(SSM)は、伝統的なシーケンスモデルに代わる効率的な代替品である。 その行列乗法への依存は、計算メモリアーキテクチャ(CIM)に理想的である。 我々は,最後の出力射影層に対するハイブリッド射影分解戦略であるHPDを提案する。
  論文  参考訳（メタデータ） (2025-08-16T06:34:14Z)
• Systolic Array-based Accelerator for Structured State-Space Models [1.137896937254823]
  State-Space Models (SSM) は非常に長いデータシーケンスをリカレントやトランスフォーマーベースのモデルよりも効率的に処理する。 本稿では,SSMの高速化を目的としたハードウェアアクセラレータEpochCoreを紹介する。 EpochCoreは、GPUと比較してLRAデータセットの平均2000倍のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-07-29T00:01:57Z)
• Quantizing Small-Scale State-Space Models for Edge AI [0.4941855521192951]
  ステートスペースモデル(SSM)は、最近、長距離依存を効率的にモデル化する能力について、ディープラーニングで注目を集めている。 本稿では,タスク性能を維持しながら,メモリと計算コストの削減に焦点をあてて,小型SSMにおける量子化の効果を分析する。
  論文  参考訳（メタデータ） (2025-06-14T12:43:47Z)
• Scaling Probabilistic Circuits via Monarch Matrices [109.65822339230853]
  確率回路(PC)は確率分布の抽出可能な表現である。 そこで本研究では,PCの和ブロックに対する新しいスパースパラメータと構造化パラメータ化を提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:39:15Z)
• Quantum Kernel-Based Long Short-term Memory [0.30723404270319693]
  本稿では,Quantum Kernel-Based Long Short-Term Memory (QK-LSTM) ネットワークを導入する。 この量子化アーキテクチャは、効率的な収束、ロバストな損失最小化、モデルコンパクト性を示す。 ベンチマークの結果,QK-LSTMは従来のLSTMモデルと同等の性能を示すが,パラメータは少ない。
  論文  参考訳（メタデータ） (2024-11-20T11:39:30Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
  高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• SMR: State Memory Replay for Long Sequence Modeling [19.755738298836526]
  本稿では並列畳み込み計算における互換性の限界を克服する新しい非再帰的非一様サンプル処理戦略を提案する。 本研究では,学習可能な記憶を利用する状態記憶再生(SMR)を導入し,学習データと異なるサンプリングポイントでの一般化のために,現在の状態を多段階情報で調整する。 自己回帰言語モデリングとLong Range Arenaにおける長距離モデリングタスクの実験は、一連のSSMモデルに対するSMRメカニズムの一般的な効果を実証している。
  論文  参考訳（メタデータ） (2024-05-27T17:53:32Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Distributed Representations Enable Robust Multi-Timescale Symbolic Computation in Neuromorphic Hardware [3.961418890143814]
  本稿では,ロバストなマルチスケールダイナミックスをアトラクタベースRSNNに組み込むシングルショット重み学習方式について述べる。 対称自己解離重み行列を重畳することにより、有限状態機械をRSNN力学に組み込む。 この研究は、リカレントダイナミクスによる堅牢な記号計算をニューロモルフィックハードウェアに組み込むスケーラブルなアプローチを導入している。
  論文  参考訳（メタデータ） (2024-05-02T14:11:50Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
  コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。 本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
  論文  参考訳（メタデータ） (2023-10-30T02:04:20Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Modular Quantization-Aware Training for 6D Object Pose Estimation [52.9436648014338]
  エッジアプリケーションは、リソース制約された組み込みプラットフォーム上で効率的な6Dオブジェクトのポーズ推定を要求する。 本稿では,適応的かつ高精度な量子化学習戦略であるMQAT(Modular Quantization-Aware Training)を紹介する。 MQATは、モジュール固有のビット精度を導出し、モジュール固有の量子化シーケンスを導出し、最先端の均一および混合精度の量子化技術によって生成されたものより優れた量子化モデルをもたらす。
  論文  参考訳（メタデータ） (2023-03-12T21:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。