論文の概要: PrimeSVT: An Automated Memory-aware Pruning Framework with Prioritized Compression Policy for Spiking Vision Transformers

• arxiv url: http://arxiv.org/abs/2606.03428v1
• Date: Tue, 02 Jun 2026 10:18:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.92869
• Title: PrimeSVT: An Automated Memory-aware Pruning Framework with Prioritized Compression Policy for Spiking Vision Transformers
• Title（参考訳）: PrimeSVT:スパイキング・ビジョン・トランスフォーマーのための優先圧縮ポリシを備えた自動メモリ対応プルーニングフレームワーク
• Authors: Rachmad Vidya Wicaksana Putra, Achyuta Muthuvelan, Alberto Marchisio, Muhammad Shafique,
• Abstract要約: Spiking Vision Transformers (SViT)は、モデル圧縮の必要性を強調しながら、組み込み実装を妨げている。 本稿では,事前学習したSViTモデル上でメモリ認識型構造化プルーニングを実行する新しいフレームワークであるPrimeSVTを提案する。 実験の結果、PrimeSVTは自動単発プルーニングにより26.68%のメモリを節約した。
• 参考スコア（独自算出の注目度）: 2.9583391652768314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The large sizes of Spiking Vision Transformers (SViTs) still hinder their embedded implementation, highlighting the need for model compression. State-of-the-art works compress SViT models through unstructured pruning, which needs specialized hardware accelerators for their specific sparsity patterns to maximize efficiency gains. Moreover, their manual approach requires a huge design time to find an appropriate pruning setting for each network, thus making this approach not scalable. To address this limitation, we propose PrimeSVT, a novel framework that performs automated memory-aware structured pruning on pre-trained SViT models, thereby maximizing their efficiency gains during inference amenable to widely-used computing architectures. To achieve this, PrimeSVT first sorts the SViT layers based on their sizes (i.e., number of parameters), identifies the targeted pruning layers based on their robustness under different pruning rates, then leverages this order for compressing the model layer-by-layer sequentially from the largest one to the smallest one (i.e., so-called prioritized compression policy), while considering the user-defined constraints (i.e., acceptable accuracy and memory saving). In each layer, PrimeSVT employs channel-wise filter pruning based on their L2-norm values to structurally remove the non-significant weights. Experimental results show that PrimeSVT saves 26.68% memory through automated single-shot pruning, while preserving accuracy within 3% (70.3% without fine-tuning and 72.9% with fine-tuning) from the original unpruned SViT model (73.3%), thus meeting the accuracy and memory constraints. These show that our PrimeSVT framework enables design automation for SViTs and their embedded implementation.
• Abstract（参考訳）: Spiking Vision Transformers (SViTs) の大規模化は、モデル圧縮の必要性を浮き彫りにした実装をいまだに妨げている。 State-of-the-artは、非構造化プルーニングを通じてSViTモデルを圧縮する。 さらに、彼らの手動のアプローチは、各ネットワークに適切なプルーニング設定を見つけるのに膨大な設計時間を必要とするため、このアプローチはスケーラブルではない。 この制限に対処するため,事前学習したSViTモデル上でメモリ認識構造化プルーニングを自動実行する新しいフレームワークであるPrimeSVTを提案する。 これを達成するために、PrimeSVTはまずサイズ(パラメータ数)に基づいてSViT層をソートし、異なるプルーニングレートで堅牢性に基づいてターゲットのプルーニング層を識別し、次に、ユーザ定義の制約(すなわち、許容精度とメモリセーブ)を考慮して、モデル層を最も大きいものから最も小さいもの(いわゆる優先順位付け圧縮ポリシー)へと順次圧縮するこの順序を利用する。 それぞれの層において、PrimeSVTはL2-ノルム値に基づいてチャネルワイズフィルタプルーニングを使用して、非重要な重みを構造的に除去する。 実験の結果、PrimeSVTは自動単発プルーニングにより26.68%のメモリを節約し、精度は3%(微調整なし70.3%、微調整なし72.9%)で元の未処理のSViTモデル(73.3%)から保存し、精度とメモリ制約を満たすことがわかった。 これらのことは、私たちのPrimeSVTフレームワークがSViTとその組み込み実装の設計自動化を可能にしていることを示している。

関連論文リスト

• PSViT: A Methodology for Structurally Pruning Spiking Vision Transformers [2.9583391652768314]
  Spiking Vision Transformer (SViT)モデルは、視覚ベースのタスクを解決するために低消費電力のViTモデルを約束している。 SViTモデル上で構造化プルーニングを行う新しい手法であるPSViTを提案する。
  論文  参考訳（メタデータ） (2026-06-02T07:18:57Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• You Only Prune Once: Designing Calibration-Free Model Compression With Policy Learning [20.62274005080048]
  PruneNetは、ポリシー学習プロセスとしてモデルプルーニングを再構成する新しいモデル圧縮手法である。 LLaMA-2-7Bモデルはわずか15分で圧縮でき、ゼロショット性能の80%以上を維持できる。 複雑なマルチタスク言語理解タスクでは、PruneNetはオリジナルのモデルの80%のパフォーマンスを維持することで、その堅牢性を実証している。
  論文  参考訳（メタデータ） (2025-01-25T18:26:39Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。