論文の概要: SparseSSM: Efficient Selective Structured State Space Models Can Be Pruned in One-Shot

• arxiv url: http://arxiv.org/abs/2506.09613v1
• Date: Wed, 11 Jun 2025 11:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.879123
• Title: SparseSSM: Efficient Selective Structured State Space Models Can Be Pruned in One-Shot
• Title（参考訳）: SparseSSM: 効率的な選択型構造化状態空間モデル
• Authors: Kaiwen Tuo, Huan Wang,
• Abstract要約: Mambaのような状態空間言語モデルは、線形複雑性推論を許容しながらTransformerの品質にマッチする。 既存のワンショットプルーニング手法はアテンションブロックに適合し、時間共有および離散化された状態遷移行列を考慮できない。 SparseSSMは、古典的最適な脳外科医(OBS)フレームワークをステートスペースアーキテクチャに拡張した最初のトレーニングフリープルーニングフレームワークである。
• 参考スコア（独自算出の注目度）: 8.080568103779893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-space language models such as Mamba match Transformer quality while permitting linear complexity inference, yet still comprise billions of parameters that hinder deployment. Existing one-shot pruning methods are tailored to attention blocks and fail to account for the time-shared and discretized state-transition matrix at the heart of the selective state-space module (SSM). In this paper, we introduce SparseSSM, the first training-free pruning framework that extends the classic optimal brain surgeon (OBS) framework to state space architectures. Our layer-wise algorithm (i) derives an approximate second-order saliency score that aggregates Hessian-trace information across time steps, (ii) incorporates a component sensitivity analysis to guide feed-forward network (FFN) pruning, which also sheds light on where redundancy resides in mamba architecture, (iii) can be easily extended to semi-structured and structured sparsity. Empirically, we prune 50% of SSM weights without fine-tuning and observe no zero-shot accuracy loss, achieving the current state-of-the-art pruning algorithm for Mamba-based LLMs.
• Abstract（参考訳）: Mambaのような状態空間言語モデルは、線形複雑性推論を許容しながらTransformerの品質にマッチするが、それでもデプロイを妨げる何十億ものパラメータで構成されている。 既存のワンショットプルーニング法はアテンションブロックに適合し、選択状態空間モジュール(SSM)の心における時間共有および離散状態遷移行列を考慮できない。 本稿では,SparseSSMについて紹介する。SparseSSMは,古典的最適な脳外科医(OBS)フレームワークを拡張し,空間アーキテクチャを記述した最初のトレーニングフリープルーニングフレームワークである。 レイヤーワイドアルゴリズム i)時間ステップにまたがってヘッセントラス情報を集計する近似2次サリエンシスコアを導出する。 (II) コンポーネント感度分析を組み込んでフィードフォワードネットワーク(FFN)のプルーニングを誘導する。 (iii)は、半構造化・構造化された空間に容易に拡張できる。 実験では,SSM重量の50%を微調整せずに測定し,ゼロショット精度の損失を観測し,ガンバ型LCMの最先端プルーニングアルゴリズムを実現する。

関連論文リスト

• StruMamba3D: Exploring Structural Mamba for Self-supervised Point Cloud Representation Learning [31.585380521480868]
  自己教師付きポイントクラウド表現学習のための新しいパラダイムであるStruMamba3Dを提案する。 空間状態を設計し,それらをプロキシとして用いて点間の空間的依存関係を保存する。 提案手法は,ModelNet40上でのSOTA 95.1%の精度と,投票戦略を使わずに最も難しい分割ScanObjectNN上での92.75%の精度を実現する。
  論文  参考訳（メタデータ） (2025-06-26T17:58:05Z)
• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• Free Parametrization of L2-bounded State Space Models [0.0]
  本稿では、入力出力安定性とロバスト性を保証する構造化状態空間モデル(SSM)の新たなパラメトリゼーションであるL2RUを紹介する。 L2-bound を指定した正方形離散時間 LTI システムの非保守的パラメトリゼーションを導出し,L2RU アーキテクチャの基礎となる。
  論文  参考訳（メタデータ） (2025-03-31T07:56:17Z)
• V"Mean"ba: Visual State Space Models only need 1 hidden dimension [0.7864304771129751]
  状態空間モデル (SSM) は線形再帰機構を導入して解法として登場した。 平均演算を用いてSSMのチャネル次元を除去する,トレーニング不要な圧縮手法である textitVMeanba を導入する。 textitVMeanbaは1.12倍のスピードアップを達成でき、精度は3%以下である。
  論文  参考訳（メタデータ） (2024-12-21T12:27:07Z)
• Layer-Adaptive State Pruning for Deep State Space Models [1.5749416770494706]
  SSMのための構造化プルーニング法、Layer-Adaptive STate pruning (LAST) を提供する。 最後のスコアはサブシステムの$mathcalH_infty$ノルムと層次エネルギー正規化を用いて評価される。 平均的な33%の州は、再学習せずに、0.52%の精度で性能を保ち、マルチインプットのマルチアウトプットSSMでは精度が低下することを示した。
  論文  参考訳（メタデータ） (2024-11-05T05:50:51Z)
• Spatial-Mamba: Effective Visual State Space Models via Structure-aware State Fusion [46.82975707531064]
  SSM(Selective State Space Model)は、1Dシーケンシャルデータにおける長距離依存関係のキャプチャに優れる。 本研究では,地域間直接接続を実現する新しいアプローチであるSpatial-Mambaを提案する。 画像分類,検出,セグメンテーションにおいて,空間マンバは,単一のスキャンであっても,最先端のSSMベースのモデルを達成したり,超えたりしていることを示す。
  論文  参考訳（メタデータ） (2024-10-19T12:56:58Z)
• DSLO: Deep Sequence LiDAR Odometry Based on Inconsistent Spatio-temporal Propagation [66.8732965660931]
  本稿では,LiDAR odometry DSLO の非一貫性時間伝搬に基づく3次元点列学習モデルを提案する。 ピラミッド構造で、シーケンシャルなポーズモジュール、階層的なポーズリファインメントモジュール、時間的特徴伝搬モジュールで構成されている。
  論文  参考訳（メタデータ） (2024-09-01T15:12:48Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
  本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。 実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Automated classification of pre-defined movement patterns: A comparison between GNSS and UWB technology [55.41644538483948]
  リアルタイム位置情報システム(RTLS)は、人間の動きパターンからデータを収集することができる。 本研究の目的は、小さな領域における人間の動きパターンを分類する自動化された枠組みを設計し、評価することである。
  論文  参考訳（メタデータ） (2023-03-10T14:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。