論文の概要: STAS: Spatio-Temporal Adaptive Computation Time for Spiking Transformers

• arxiv url: http://arxiv.org/abs/2508.14138v1
• Date: Tue, 19 Aug 2025 13:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.222117
• Title: STAS: Spatio-Temporal Adaptive Computation Time for Spiking Transformers
• Title（参考訳）: STAS:スパイキング変換器の時空間適応計算時間
• Authors: Donghwa Kang, Doohyun Kim, Sang-Ki Ko, Jinkyu Lee, Brent ByungHoon Kang, Hyeongboo Baek,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)よりもエネルギー効率が高いが、高いレイテンシと計算オーバーヘッドに悩まされている。 本稿では,静的アーキテクチャと動的計算ポリシを協調設計するフレームワークSTAS(Spatio-Temporal Adaptive Computing Time for Spiking Transformers)を提案する。
• 参考スコア（独自算出の注目度）: 5.234835661080496
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Spiking neural networks (SNNs) offer energy efficiency over artificial neural networks (ANNs) but suffer from high latency and computational overhead due to their multi-timestep operational nature. While various dynamic computation methods have been developed to mitigate this by targeting spatial, temporal, or architecture-specific redundancies, they remain fragmented. While the principles of adaptive computation time (ACT) offer a robust foundation for a unified approach, its application to SNN-based vision Transformers (ViTs) is hindered by two core issues: the violation of its temporal similarity prerequisite and a static architecture fundamentally unsuited for its principles. To address these challenges, we propose STAS (Spatio-Temporal Adaptive computation time for Spiking transformers), a framework that co-designs the static architecture and dynamic computation policy. STAS introduces an integrated spike patch splitting (I-SPS) module to establish temporal stability by creating a unified input representation, thereby solving the architectural problem of temporal dissimilarity. This stability, in turn, allows our adaptive spiking self-attention (A-SSA) module to perform two-dimensional token pruning across both spatial and temporal axes. Implemented on spiking Transformer architectures and validated on CIFAR-10, CIFAR-100, and ImageNet, STAS reduces energy consumption by up to 45.9%, 43.8%, and 30.1%, respectively, while simultaneously improving accuracy over SOTA models.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)よりもエネルギー効率がよいが、マルチステップの運用特性のため、高いレイテンシと計算オーバーヘッドに悩まされている。 空間的、時間的、あるいはアーキテクチャ固有の冗長性をターゲットにして、これを緩和する様々な動的計算法が開発されているが、それらは断片化されているままである。 適応計算時間(ACT)の原理は統一されたアプローチの堅牢な基盤を提供するが、SNNベースの視覚変換器(ViT)への適用は、その時間的類似性の前提条件の違反と、その原理に基本的に適さない静的アーキテクチャの2つの主要な問題によって妨げられている。 これらの課題に対処するため,静的アーキテクチャと動的計算ポリシーを共同設計するSTAS(Spatio-Temporal Adaptive Computing Time for Spiking Transformers)を提案する。 STASは統合スパイクパッチ分割(I-SPS)モジュールを導入し、統合された入力表現を作成して時間的安定性を確立し、時間的相似性のアーキテクチャ上の問題を解決する。 この安定性により、アダプティブ・スパイキング・セルフアテンション(A-SSA)モジュールは、空間軸と時間軸の両方に2次元のトークンプルーニングを行うことができる。 CIFAR-10、CIFAR-100、ImageNetで検証されたトランスフォーマーアーキテクチャの実装により、STASは最大45.9%、43.8%、30.1%のエネルギー消費を削減し、SOTAモデルの精度も向上した。

関連論文リスト

• Multiresolution Analysis and Statistical Thresholding on Dynamic Networks [49.09073800467438]
  ANIE(Adaptive Network Intensity Estimation)は、ネットワーク構造が進化する時間スケールを自動的に識別する多段階フレームワークである。 ANIEは適切な時間分解能に適応し、ノイズに頑健でありながら鋭い構造変化を捉えることができることを示す。
  論文  参考訳（メタデータ） (2025-06-01T22:55:55Z)
• Physics-informed Multiple-Input Operators for efficient dynamic response prediction of structures [0.07916635054977067]
  MIONetは空間と時間の両方で連続的に構造的応答を予測する。 モデルは単純なビームとKW-51ブリッジの両方で検証され、FEMレベルの精度は数秒で達成される。
  論文  参考訳（メタデータ） (2025-05-11T18:45:58Z)
• Spiking Transformer with Spatial-Temporal Attention [26.7175155847563]
  SpikeベースのTransformerは、従来のニューラルネットワーク(ANN)ベースのTransformerに代わる、魅力的でエネルギー効率のよい代替手段を提供する。 本研究では,空間的・時間的情報を自己認識機構に効率よく統合する,シンプルかつ簡単なアーキテクチャである空間時間注意型スパイキングトランスフォーマーを提案する。 アーキテクチャのオーバーホールなしに既存のスパイクベースのトランスにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-09-29T20:29:39Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
  本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。 AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
  論文  参考訳（メタデータ） (2021-12-14T18:56:07Z)
• Architecture Aware Latency Constrained Sparse Neural Networks [35.50683537052815]
  本稿では,CNNモデルの作成と高速化を目的として,遅延制約付きスパースフレームワークを設計する。 また,効率的な計算のための新しいスパース畳み込みアルゴリズムを提案する。 我々のシステム・アルゴリズムの共同設計フレームワークは、リソース制約のあるモバイルデバイス上でのネットワークの精度とレイテンシのフロンティアをはるかに向上させることができる。
  論文  参考訳（メタデータ） (2021-09-01T03:41:31Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。