論文の概要: HPD: Hybrid Projection Decomposition for Robust State Space Models on Analog CIM Hardware

• arxiv url: http://arxiv.org/abs/2508.11935v1
• Date: Sat, 16 Aug 2025 06:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.464972
• Title: HPD: Hybrid Projection Decomposition for Robust State Space Models on Analog CIM Hardware
• Title（参考訳）: HPD:アナログCIMハードウェアにおけるロバスト状態空間モデルのハイブリッド射影分解
• Authors: Yuannuo Feng, Wenyong Zhou, Yuexi Lyu, Hanjie Liu, Zhengwu Liu, Ngai Wong, Wang Kang,
• Abstract要約: ステートスペースモデル(SSM)は、伝統的なシーケンスモデルに代わる効率的な代替品である。 その行列乗法への依存は、計算メモリアーキテクチャ(CIM)に理想的である。 我々は,最後の出力射影層に対するハイブリッド射影分解戦略であるHPDを提案する。
• 参考スコア（独自算出の注目度）: 4.727184737671133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State Space Models (SSMs) are efficient alternatives to traditional sequence models, excelling at processing long sequences with lower computational complexity. Their reliance on matrix multiplications makes them ideal for compute-in-memory (CIM) architectures, which improve energy efficiency by computing within memory arrays. However, device non-idealities in CIM introduce weight perturbations that can degrade inference accuracy. In this paper, we systematically analyze the robustness of SSMs under noisy conditions, identifying that the final block and output projection layers are more susceptible to perturbations compared to other components. Building on these insights, we propose HPD, a Hybrid Projection Decomposition strategy for the last output projection layer. We replace the original weight matrix with the multiplication of U and {\Sigma} in its SVD to ensure compatibility with existing hardware architectures, while offloading V> to digital hardware for precise and robust correction. Comprehensive tests on Mamba models show that our method reduces perplexity by up to 99.57% under various noise conditions compared to baseline models, with accuracy gains of up to 96.67% on the PIQA benchmark for commonsense reasoning.
• Abstract（参考訳）: 状態空間モデル(SSM)は、計算複雑性の低い長いシーケンスの処理に優れ、従来のシーケンスモデルの効率的な代替品である。 行列乗法への依存は、メモリアレイ内での計算によってエネルギー効率を向上させる計算インメモリアーキテクチャ(CIM)に理想的である。 しかし、CIMにおけるデバイス非イデアルは、推論精度を低下させることができる重み摂動を導入している。 本稿では, 雑音条件下でのSSMの頑健さを系統的に解析し, 最終ブロックと出力プロジェクション層が他の成分に比べて摂動の影響を受けやすいことを同定する。 これらの知見に基づいて,最後の出力射影層に対するハイブリッド射影分解戦略であるHPDを提案する。 我々は、V>をデジタルハードウェアにオフロードし、正確でロバストな補正を行いながら、既存のハードウェアアーキテクチャとの互換性を確保するために、元の重み行列を SVD の U と {\Sigma} の乗算に置き換える。 Mambaモデルに対する総合的なテストでは、ベースラインモデルと比較して様々なノイズ条件下でのパープレキシティは99.57%まで減少し、コモンセンス推論のためのPIQAベンチマークでは96.67%まで精度が向上した。

関連論文リスト

• QS4D: Quantization-aware training for efficient hardware deployment of structured state-space sequential models [0.8474310104568011]
  構造化状態空間モデル(Structured State Space Model, SSM)は、ディープラーニングモデルの新しいクラスとして登場した。 QATは、様々なパフォーマンス指標において、SSMの複雑さを最大2桁まで減少させることができる。 その結果,QATはアナログノイズに対する堅牢性を高め,構造的プルーニングを可能にすることがわかった。
  論文  参考訳（メタデータ） (2025-07-08T15:19:14Z)
• Mix-QSAM: Mixed-Precision Quantization of the Segment Anything Model [0.0]
  Mix-QSAMはSegment Anything Model(SAM)のためのPTQフレームワークである。 モデル出力に対する各レイヤの寄与を定量化するために,Kulback-Leibler (KL) 偏差を用いて導出したレイヤ単位の重要度スコアを導入する。 また、隣接層間の依存関係を捉えるために、因果的相互情報に基づく新しい計量である層間相乗法を導入する。
  論文  参考訳（メタデータ） (2025-05-08T00:08:31Z)
• Hybrid machine learning based scale bridging framework for permeability prediction of fibrous structures [0.0]
  本研究では,繊維状繊維構造の透水性を予測するための,ハイブリッド機械学習に基づくスケールブリジングフレームワークを提案する。 SSM(Single Scale Method)、SUM(Simple Upscaling Method)、SBM(Scale-Bridging Method)、FRM(Fully Resolved Model)の4つの手法が評価された。
  論文  参考訳（メタデータ） (2025-02-07T16:09:25Z)
• p-MoD: Building Mixture-of-Depths MLLMs via Progressive Ratio Decay [20.688382669309096]
  p-MoDは、モデル性能を維持しながら、トレーニングと推論のコストを大幅に削減する効率的なMLLMアーキテクチャである。 我々は、Tanh-gateweight normalization (TanhNorm) と symmetric token reweighting (STRing) の2つの新しい設計でMoDモジュールを適応する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:03Z)
• Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
  本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。 BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。 我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
  論文  参考訳（メタデータ） (2024-12-03T19:20:08Z)
• Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。