論文の概要: S4oP: Operator-level Pruning of Structured State Space Models for Resource-Constrained Devices

• arxiv url: http://arxiv.org/abs/2606.18096v1
• Date: Tue, 16 Jun 2026 15:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.530766
• Title: S4oP: Operator-level Pruning of Structured State Space Models for Resource-Constrained Devices
• Title（参考訳）: S4oP:資源制約デバイスのための構造化状態空間モデルの演算子レベルプルーニング
• Abstract要約: 本稿では,S4DモデルとS4Dモデルに対して,新たなインクリメンタルな演算子レベルのプルーニング手法を提案する。 本手法は、構造化マスキングと微調整を交互に行うことにより、モデル演算子を段階的にプーンする。 実験により、モデル演算子の70%までを刈り取ると、ほとんどの場合、元のモデルの性能が保たれることが示された。
• 参考スコア（独自算出の注目度）: 3.231646967692886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured State Space Models (SSMs), including the S4 and S4D architectures, have recently emerged as powerful alternatives to attention-based models for capturing long-range dependencies in sequential data. Despite their strong empirical performance, deploying these models in time- and resource-constrained settings remains challenging due to their computational and memory demands. In this paper, we propose a novel incremental, operator-level pruning approach for S4- and S4D-based models that significantly reduces inference cost while preserving predictive performance. To the best of our knowledge, this is the first work to systematically investigate structured operator pruning for SSMs. Our method progressively prunes model operators by interleaving structured masking with fine-tuning, while jointly monitoring accuracy and inference latency. We implement this approach within a unified training and evaluation framework that enables systematic exploration of efficiency-accuracy trade-offs. Experiments across multiple benchmark datasets show that pruning up to 70% of the model operators preserves the performance of the original models in most cases, while substantially reducing inference latency. These results demonstrate that structured operator pruning is an effective and previously unexplored strategy for improving the efficiency of SSMs and facilitate their deployment in practical, resource-constrained scenarios.
• Abstract（参考訳）: S4とS4Dアーキテクチャを含む構造化状態空間モデル (Structured State Space Models, SSM) は、最近、シーケンシャルデータ内の長距離依存関係をキャプチャするための注目ベースのモデルに対する強力な代替手段として登場した。 強力な経験的性能にもかかわらず、これらのモデルを時間とリソースに制約のある設定でデプロイすることは、計算とメモリの要求のため、依然として困難である。 本稿では,S4DモデルとS4Dモデルに対して,予測性能を保ちながら推論コストを大幅に削減する,新たなインクリメンタルな演算子レベルのプルーニング手法を提案する。 我々の知る限りでは、SSMのための構造化演算子プルーニングを体系的に研究するのはこれが初めてである。 提案手法は,構造化マスキングを微調整でインターリーブし,精度と予測遅延を共同で監視することにより,モデル演算子を段階的にプルークする。 我々は,効率・正確性トレードオフの体系的な探索を可能にする統一的なトレーニングと評価の枠組みの中で,このアプローチを実装している。 複数のベンチマークデータセットに対する実験では、モデル演算子の70%までのプルーニングは、ほとんどの場合、オリジナルのモデルのパフォーマンスを保ちながら、推論遅延を大幅に低減する。 これらの結果から,構造化演算子プルーニングは,SSMの効率を向上し,資源制約のある現実的なシナリオへの展開を容易にするための,効率的かつ未探索な戦略であることが示された。

関連論文リスト

• AgentCPM-Explore: Realizing Long-Horizon Deep Exploration for Edge-Scale Agents [75.67445299298949]
  AgentCPM-Exploreは、知識密度と強力な探索能力を備えたコンパクトな4Bエージェントモデルである。 本稿では,パラメータ空間モデルの融合,報酬信号の復調,文脈情報の改良を特徴とする総合的なトレーニングフレームワークを提案する。 AgentCPM-Exploreは4つのベンチマークで8BクラスのSOTAモデルにマッチまたは超え、また5つのベンチマークでClaude-4.5-SonnetやDeepSeek-v3.2のような大規模モデルよりも優れている。
  論文  参考訳（メタデータ） (2026-02-06T08:24:59Z)
• CALM Before the STORM: Unlocking Native Reasoning for Optimization Modeling [60.55856973678002]
  大規模推論モデル (LRM) は、複雑な多段階推論において強力な機能を示した。 既存のドメイン適応手法は、元々は命令調整モデル用に設計されていたが、現代のLEMの高度な推論パターンをうまく利用できなかった。 我々は、最適化モデリングタスクのためのネイティブ推論モード内でのLEMを段階的に洗練するフレームワークである textbfCALM を提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:38:31Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• On the Simplification of Neural Network Architectures for Predictive Process Monitoring [0.5735035463793009]
  パラメータ数とアーキテクチャの深さの両面からモデル複雑性の低減が予測性能に与える影響を分析する。 その結果,Transformerモデルが85%縮小すると性能が2～3%低下することがわかった。 以上の結果から,モデル簡易化が予測精度を維持できる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-09-21T16:21:45Z)
• W4S4: WaLRUS Meets S4 for Long-Range Sequence Modeling [23.453158933852357]
  状態空間モデル(SSM)は、シーケンスモデリングの強力なコンポーネントとして登場した。 冗長ウェーブレットフレームから構築された新しいSSMであるW4S4(WaLRUS for S4)を導入する。 我々は,HipPOをベースとしたSSMよりも長い地平線上での情報保持が極めて優れていることを示す。
  論文  参考訳（メタデータ） (2025-06-09T16:33:29Z)
• From S4 to Mamba: A Comprehensive Survey on Structured State Space Models [0.0]
  シーケンスモデリングの最近の進歩は、構造化状態空間モデル(Structured State Space Models, SSMs)の出現につながっている。 SSMは構造的再帰と状態空間表現を利用して、線形またはニア線形複雑度で優れたロングシーケンス処理を実現する。 この調査は、AIとディープラーニングにおけるSSMベースのアーキテクチャの進歩、トレードオフ、今後の方向性を詳述した、研究者や実践者の構造化ガイドとして機能する。
  論文  参考訳（メタデータ） (2025-03-22T01:55:32Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• RedTest: Towards Measuring Redundancy in Deep Neural Networks Effectively [10.812755570974929]
  深層学習モデル構造における冗長度を測定するために,モデル構造冗長スコア(MSRS)を用いる。 MSRSは、多くの最先端モデルにおける冗長性の問題を明らかにし、評価するのに効果的である。 最適なモデル構造を探索するための新しい冗長性認識アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-11-15T14:36:07Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Model Compression Method for S4 with Diagonal State Space Layers using Balanced Truncation [0.0]
  本稿では, モデル圧縮手法として, 事前学習したS4モデルのDSS層に適用した, 制御理論における一般的なモデル縮小手法であるバランストランケーションを提案する。 数値実験により,従来のSkiw-HiPPOを用いたモデルよりも,トレーニングモデルとバランスの取れたトランケーションが優れていることが示された。
  論文  参考訳（メタデータ） (2024-02-25T05:22:45Z)
• EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
  連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。 本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T04:59:44Z)
• Structured State Space Models for In-Context Reinforcement Learning [30.189834820419446]
  構造化状態空間列(S4)モデルは、最近、長距離シーケンスモデリングタスクにおいて最先端の性能を達成した。 隠れた状態を並列に初期化およびリセットできるS4の変種に対する修正を提案する。 変更したアーキテクチャはシーケンス長のTransformerよりも高速に動作し、単純なメモリベースのタスクでRNNよりもパフォーマンスがよいことを示す。
  論文  参考訳（メタデータ） (2023-03-07T15:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。