論文の概要: S4oP: Operator-level Pruning of Structured State Space Models for Resource-Constrained Devices

• arxiv url: http://arxiv.org/abs/2606.18096v1
• Date: Tue, 16 Jun 2026 15:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.530766
• Title: S4oP: Operator-level Pruning of Structured State Space Models for Resource-Constrained Devices
• Title（参考訳）: S4oP:資源制約デバイスのための構造化状態空間モデルの演算子レベルプルーニング
• Authors: Marco Deano, Filippo Ziche, Nicola Bombieri,
• Abstract要約: 本稿では,S4DモデルとS4Dモデルに対して,新たなインクリメンタルな演算子レベルのプルーニング手法を提案する。 本手法は、構造化マスキングと微調整を交互に行うことにより、モデル演算子を段階的にプーンする。 実験により、モデル演算子の70%までを刈り取ると、ほとんどの場合、元のモデルの性能が保たれることが示された。
• 参考スコア（独自算出の注目度）: 3.231646967692886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured State Space Models (SSMs), including the S4 and S4D architectures, have recently emerged as powerful alternatives to attention-based models for capturing long-range dependencies in sequential data. Despite their strong empirical performance, deploying these models in time- and resource-constrained settings remains challenging due to their computational and memory demands. In this paper, we propose a novel incremental, operator-level pruning approach for S4- and S4D-based models that significantly reduces inference cost while preserving predictive performance. To the best of our knowledge, this is the first work to systematically investigate structured operator pruning for SSMs. Our method progressively prunes model operators by interleaving structured masking with fine-tuning, while jointly monitoring accuracy and inference latency. We implement this approach within a unified training and evaluation framework that enables systematic exploration of efficiency-accuracy trade-offs. Experiments across multiple benchmark datasets show that pruning up to 70% of the model operators preserves the performance of the original models in most cases, while substantially reducing inference latency. These results demonstrate that structured operator pruning is an effective and previously unexplored strategy for improving the efficiency of SSMs and facilitate their deployment in practical, resource-constrained scenarios.
• Abstract（参考訳）: S4とS4Dアーキテクチャを含む構造化状態空間モデル (Structured State Space Models, SSM) は、最近、シーケンシャルデータ内の長距離依存関係をキャプチャするための注目ベースのモデルに対する強力な代替手段として登場した。 強力な経験的性能にもかかわらず、これらのモデルを時間とリソースに制約のある設定でデプロイすることは、計算とメモリの要求のため、依然として困難である。 本稿では,S4DモデルとS4Dモデルに対して,予測性能を保ちながら推論コストを大幅に削減する,新たなインクリメンタルな演算子レベルのプルーニング手法を提案する。 我々の知る限りでは、SSMのための構造化演算子プルーニングを体系的に研究するのはこれが初めてである。 提案手法は,構造化マスキングを微調整でインターリーブし,精度と予測遅延を共同で監視することにより,モデル演算子を段階的にプルークする。 我々は,効率・正確性トレードオフの体系的な探索を可能にする統一的なトレーニングと評価の枠組みの中で,このアプローチを実装している。 複数のベンチマークデータセットに対する実験では、モデル演算子の70%までのプルーニングは、ほとんどの場合、オリジナルのモデルのパフォーマンスを保ちながら、推論遅延を大幅に低減する。 これらの結果から,構造化演算子プルーニングは,SSMの効率を向上し,資源制約のある現実的なシナリオへの展開を容易にするための,効率的かつ未探索な戦略であることが示された。

関連論文リスト

• AgentCPM-Explore: Realizing Long-Horizon Deep Exploration for Edge-Scale Agents [75.67445299298949]
  AgentCPM-Exploreは、知識密度と強力な探索能力を備えたコンパクトな4Bエージェントモデルである。 本稿では,パラメータ空間モデルの融合,報酬信号の復調,文脈情報の改良を特徴とする総合的なトレーニングフレームワークを提案する。 AgentCPM-Exploreは4つのベンチマークで8BクラスのSOTAモデルにマッチまたは超え、また5つのベンチマークでClaude-4.5-SonnetやDeepSeek-v3.2のような大規模モデルよりも優れている。
  論文  参考訳（メタデータ） (2026-02-06T08:24:59Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• From S4 to Mamba: A Comprehensive Survey on Structured State Space Models [0.0]
  シーケンスモデリングの最近の進歩は、構造化状態空間モデル(Structured State Space Models, SSMs)の出現につながっている。 SSMは構造的再帰と状態空間表現を利用して、線形またはニア線形複雑度で優れたロングシーケンス処理を実現する。 この調査は、AIとディープラーニングにおけるSSMベースのアーキテクチャの進歩、トレードオフ、今後の方向性を詳述した、研究者や実践者の構造化ガイドとして機能する。
  論文  参考訳（メタデータ） (2025-03-22T01:55:32Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Model Compression Method for S4 with Diagonal State Space Layers using Balanced Truncation [0.0]
  本稿では, モデル圧縮手法として, 事前学習したS4モデルのDSS層に適用した, 制御理論における一般的なモデル縮小手法であるバランストランケーションを提案する。 数値実験により,従来のSkiw-HiPPOを用いたモデルよりも,トレーニングモデルとバランスの取れたトランケーションが優れていることが示された。
  論文  参考訳（メタデータ） (2024-02-25T05:22:45Z)
• Structured State Space Models for In-Context Reinforcement Learning [30.189834820419446]
  構造化状態空間列(S4)モデルは、最近、長距離シーケンスモデリングタスクにおいて最先端の性能を達成した。 隠れた状態を並列に初期化およびリセットできるS4の変種に対する修正を提案する。 変更したアーキテクチャはシーケンス長のTransformerよりも高速に動作し、単純なメモリベースのタスクでRNNよりもパフォーマンスがよいことを示す。
  論文  参考訳（メタデータ） (2023-03-07T15:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。