論文の概要: BSViT: A Burst Spiking Vision Transformer for Expressive and Efficient Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2604.23165v1
• Date: Sat, 25 Apr 2026 06:33:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.187238
• Title: BSViT: A Burst Spiking Vision Transformer for Expressive and Efficient Visual Representation Learning
• Title（参考訳）: BSViT:表現的かつ効率的な視覚表現学習のためのバーストスパイキング視覚変換器
• Authors: Hongxiang Peng, Dewei Bai, Hong Qu,
• Abstract要約: Spiking Vision Transformers (S-ViTs)は、エネルギー効率の高い視覚学習のための有望なフレームワークを提供する。 本研究は、デュアルチャネルバーストスパイク自己保持機構を備えたバーストスパイク駆動型ビジョントランスであるBSViTを提案する。
• 参考スコア（独自算出の注目度）: 10.608524604362879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Vision Transformers (S-ViTs) offer a promising framework for energy-efficient visual learning. However, existing designs remain limited by two fundamental issues: the restricted information capacity of binary spike coding and the dense token interactions introduced by global self-attention. To address these challenges, this work proposes BSViT, a burst spiking-driven Vision Transformer featuring a Dual-Channel Burst Spiking Self-Attention (DBSSA) mechanism. DBSSA encodes queries with binary spikes and keys with burst spikes to enhance representational capacity. The value pathway adopts dual excitatory and inhibitory binary channels, enabling signed modulation and richer spike interactions. Importantly, the entire attention operation preserves addition-only computation, ensuring compatibility with energy-efficient neuromorphic hardware. To further reduce spike activity and incorporate spatial priors, a patch adjacency masking strategy is introduced to restrict attention to local neighborhoods, resulting in structure-aware sparsity and reduced computational overhead. In addition, burst spike coding is systematically integrated across the network to increase spike-level representational capacity beyond conventional binary spiking. Extensive experiments on both static and event-based vision benchmarks demonstrate that BSViT consistently outperforms existing spiking Transformers in accuracy while maintaining competitive energy efficiency.
• Abstract（参考訳）: Spiking Vision Transformers (S-ViTs)は、エネルギー効率の高い視覚学習のための有望なフレームワークを提供する。 しかし、既存の設計は、バイナリスパイク符号化の制限された情報容量と、グローバルな自己注意によって導入された密集したトークン相互作用の2つの根本的な問題によって制限されている。 これらの課題に対処するため、本研究では、デュアルチャネルバーストスパイク自己注意(DBSSA)機構を備えたバーストスパイク駆動型ビジョントランスフォーマであるBSViTを提案する。 DBSSAはクエリをバイナリスパイクとキーとバーストスパイクでエンコードし、表現能力を高める。 値経路は二重興奮性および阻害性二元チャネルを採用し、符号付き変調とよりリッチなスパイク相互作用を可能にする。 重要なことは、注意操作全体が加算のみの計算を保持し、エネルギー効率の良いニューロモルフィックハードウェアとの互換性を確保することである。 スパイク活動のさらなる削減と空間的先行を組み込むため、局所的な周辺への注意を抑えるパッチ隣接マスキング戦略を導入し、構造認識の疎通と計算オーバーヘッドの低減を実現した。 さらに、スパイクレベルの表現能力を高めるために、スパイクスパイク符号化はネットワーク全体に体系的に統合される。 静的およびイベントベースのビジョンベンチマークの大規模な実験は、BSViTが競争エネルギー効率を維持しながら既存のスパイクトランスフォーマーの精度を一貫して上回っていることを示している。

関連論文リスト

• Neural Dynamics Self-Attention for Spiking Transformers [59.57278823240336]
  TransformerアーキテクチャによるSNN(Spike Neural Networks)は、エネルギー効率とパフォーマンスのバランスをとるための、有望な経路を提供する。 既存のスパイキングトランスフォーマーは、(i)ニューラルネットワーク(ANN)と(ii)推論時の高メモリオーバーヘッドと比較して、大幅なパフォーマンスギャップがあるという2つの重要な課題に直面している。 本稿では、局所受容野を持つスパイキングニューロンを用いて、メモリ要求を減らしながら注意を計算するLRF-Dynを提案する。
  論文  参考訳（メタデータ） (2026-03-09T12:23:37Z)
• DualGazeNet: A Biologically Inspired Dual-Gaze Query Network for Salient Object Detection [52.32976488996896]
  我々はDualGazeNetを紹介した。DualGazeNetは、純粋なトランスフォーマーフレームワークで、有能なオブジェクト検出を行う。 5つのRGBベンチマークの実験によると、DualGazeNetは25の最先端CNNとTransformerベースのメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-11-24T08:08:22Z)
• THAT: Token-wise High-frequency Augmentation Transformer for Hyperspectral Pansharpening [11.026691195419453]
  トランスフォーマーに基づく手法は、高スペクトルパンシャーピングにおいて強い可能性を証明している。 それらの効果は、冗長なトークン表現とマルチスケール機能モデリングの欠如によって制限されることが多い。 本稿では,高スペクトルパンシャーピングを向上する新しいフレームワークであるToken-wise High- frequency Augmentation Transformer (THAT)を提案する。
  論文  参考訳（メタデータ） (2025-08-11T17:03:10Z)
• High-Fidelity Differential-information Driven Binary Vision Transformer [38.19452875887032]
  ビジョントランスフォーマーのバイナリ化(ViT)は、高い計算/ストレージ要求とエッジデバイスデプロイメントの制約の間のトレードオフに対処する、有望なアプローチを提供する。 本稿では,従来の ViT アーキテクチャと計算効率を両立させながら,高情報化が可能な新しいバイナリ ViT である DIDB-ViT を提案する。
  論文  参考訳（メタデータ） (2025-07-03T00:59:53Z)
• BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
  モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。 本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。 提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T08:35:01Z)
• Spiking Wavelet Transformer [1.8712213089437697]
  スパイキングニューラルネットワーク(SNN)は、従来のディープラーニングに代わるエネルギー効率の高い代替手段を提供する。 SNNの変換器は精度が保証されているが、高周波パターンの学習に苦労している。 本研究では、スパイク駆動方式で包括的空間周波数特徴を効果的に学習する無注意アーキテクチャであるSpking Wavelet Transformer(SWformer)を提案する。
  論文  参考訳（メタデータ） (2024-03-17T08:41:48Z)
• FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
  線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。 現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。 本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:37:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。