論文の概要: TP-Spikformer: Token Pruned Spiking Transformer

• arxiv url: http://arxiv.org/abs/2603.00527v1
• Date: Sat, 28 Feb 2026 07:53:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.24408
• Title: TP-Spikformer: Token Pruned Spiking Transformer
• Title（参考訳）: TP-Spikformer:Token Pruned Spiking Transformer
• Authors: Wenjie Wei, Xiaolong Zhou, Malu Zhang, Ammar Belatreche, Qian Sun, Yimeng Shan, Dehao Zhang, Zijian Zhou, Zeyu Ma, Yang Yang, Haizhou Li,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、イベント駆動コンピューティングパラダイムのため、従来のニューラルネットワークに代わるエネルギー効率の高い代替手段を提供する。 本稿では,TP-Spikformer と呼ばれる変圧器をスパイクする簡易かつ効果的なトークンプレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 48.49025085338628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) offer an energy-efficient alternative to traditional neural networks due to their event-driven computing paradigm. However, recent advancements in spiking transformers have focused on improving accuracy with large-scale architectures, which require significant computational resources and limit deployment on resource-constrained devices. In this paper, we propose a simple yet effective token pruning method for spiking transformers, termed TP-Spikformer, that reduces storage and computational overhead while maintaining competitive performance. Specifically, we first introduce a heuristic spatiotemporal information-retaining criterion that comprehensively evaluates tokens' importance, assigning higher scores to informative tokens for retention and lower scores to uninformative ones for pruning. Based on this criterion, we propose an information-retaining token pruning framework that employs a block-level early stopping strategy for uninformative tokens, instead of removing them outright. This also helps preserve more information during token pruning. We demonstrate the effectiveness, efficiency and scalability of TP-Spikformer through extensive experiments across diverse architectures, including Spikformer, QKFormer and Spike-driven Transformer V1 and V3, and a range of tasks such as image classification, object detection, semantic segmentation and event-based object tracking. Particularly, TP-Spikformer performs well in a training-free manner. These results reveal its potential as an efficient and practical solution for deploying SNNs in real-world applications with limited computational resources.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、イベント駆動コンピューティングパラダイムのため、従来のニューラルネットワークに代わるエネルギー効率の高い代替手段を提供する。 しかし,近年のスパイキングトランスフォーマーの進歩は,大規模アーキテクチャの精度向上に重点を置いている。 本稿では,TP-Spikformer と呼ばれる変圧器をスパイクする簡易かつ効果的なトークン・プルーニング手法を提案する。 具体的には、まず、トークンの重要性を包括的に評価するヒューリスティックな時空間情報保持基準を導入し、保持のための情報トークンに高いスコアを割り当て、プルーニングのための非形式トークンに低いスコアを割り当てる。 この基準に基づいて,非形式的トークンのブロックレベルの早期停止戦略を利用する情報保持型トークンプルーニングフレームワークを提案する。 これはトークンのプルーニング中により多くの情報を保存するのにも役立ちます。 Spikformer, QKFormer, Spike-driven Transformer V1, V3, 画像分類, オブジェクト検出, セマンティックセグメンテーション, イベントベースのオブジェクトトラッキングなど, 多様なアーキテクチャの広範な実験を通じて, TP-Spikformerの有効性, 効率, スケーラビリティを実証した。 特にTP-Spikformerは、トレーニング不要な方法でうまく機能する。 これらの結果から,計算資源が限られている実世界のアプリケーションにSNNをデプロイするための,効率的かつ実用的なソリューションとしての可能性を明らかにした。

関連論文リスト

• Back to Fundamentals: Low-Level Visual Features Guided Progressive Token Pruning [8.284127681482202]
  LVTPは、マルチスケールのTsallisエントロピーと2倍のクラスタリングを備えた低レベル視覚特徴によってガイドされるプログレッシブトークンプルーニングフレームワークである。 高レベルのセマンティクスと、正確なセグメンテーションのための基本的な視覚属性を統合している。 プラグアンドプレイモジュールとして、アーキテクチャの変更や追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2025-04-25T00:43:20Z)
• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• Information Consistent Pruning: How to Efficiently Search for Sparse Networks? [5.524804393257921]
  反復等級プルーニング法(IMP)は、ディープニューラルネットワーク(DNN)における重要なノード数を減らすことに成功している。 プルーニングネットワークにおけるIMPの人気にもかかわらず、既存のIMPアルゴリズムの基本的な制限は、各プルーニング勾配に必要なトレーニング時間である。 本稿では,ネットワーク層間の情報やフローをモニタし,トレーニング時間を最小化するIMPのための新しいテキストトッピング基準を提案する。
  論文  参考訳（メタデータ） (2025-01-26T16:40:59Z)
• Spiking Transformer with Spatial-Temporal Attention [26.7175155847563]
  SpikeベースのTransformerは、従来のニューラルネットワーク(ANN)ベースのTransformerに代わる、魅力的でエネルギー効率のよい代替手段を提供する。 本研究では,空間的・時間的情報を自己認識機構に効率よく統合する,シンプルかつ簡単なアーキテクチャである空間時間注意型スパイキングトランスフォーマーを提案する。 アーキテクチャのオーバーホールなしに既存のスパイクベースのトランスにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-09-29T20:29:39Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Impact of Disentanglement on Pruning Neural Networks [16.077795265753917]
  変分オートエンコーダ(VAE)ネットワークが生成する乱数表現は,モデル圧縮を実現する上で有望な手法である。 本研究では,Beta-VAEフレームワークと標準的なプルーニング基準を組み合わせることで,ネットワークが絡み合った表現を学習することを強制する影響を調査する。
  論文  参考訳（メタデータ） (2023-07-19T13:58:01Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
  本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。 パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
  論文  参考訳（メタデータ） (2022-08-26T16:01:23Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。