論文の概要: Rethinking Attention Locality in Spiking Transformers

• arxiv url: http://arxiv.org/abs/2608.08541v1
• Date: Sun, 09 Aug 2026 07:36:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.862898
• Title: Rethinking Attention Locality in Spiking Transformers
• Title（参考訳）: スパイキングトランスにおけるアテンションの局所性の再考
• Abstract要約: スパイキングトランスフォーマーは、スパイク駆動計算による効率的なビジュアル処理のための有望なパラダイムを提供する。 彼らのSSA(Softmax-free Spiking Self-Attention)は、空間的に局所化されたトークン相互作用を確立するのに苦労している。 境界連続経路(SCLA-BCP)を用いた空間連続的局所的注意法を提案する。 当社のアプローチでは、2017年のCOCOではmAP@50が9.50%、ADE20KではmIoUが3.42%改善しています。
• 参考スコア（独自算出の注目度）: 50.00501275379363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Transformers provide a promising paradigm for efficient visual processing with spike-driven computation, yet their Softmax-free Spiking Self-Attention (SSA) struggles to establish spatially localized token interactions. Although existing locality-enhanced SSA methods improve accuracy, it remains unclear whether they consistently induce spatial locality across layers and different Spiking Transformer architectures. Through Mean Attention Distance (MAD) analysis, we reveal that computational locality does not necessarily translate into spatial locality and show that uniformly applying the same locality enhancement overlooks architecture-dependent deployment requirements. Motivated by these observations, we propose Spatially Contiguous Local Attention with Boundary Continuity Pathway (SCLA-BCP). SCLA computes attention within non-overlapping regions of spatially adjacent tokens, while BCP facilitates cross-boundary information exchange through a lightweight convolutional pathway. Furthermore, we develop a hierarchical locality deployment strategy to effectively apply SCLA-BCP across the two major Spiking Transformer architectures. Extensive experiments on seven static and neuromorphic datasets covering classification, detection, and segmentation demonstrate consistent improvements with limited parameter and energy overhead. Notably, our approach improves mAP@50 by up to 9.50% on COCO 2017 and mIoU by up to 3.42% on ADE20K. Visualizations, MAD analysis, and ablation studies further validate its effectiveness.
• Abstract（参考訳）: スパイキングトランスフォーマーは、スパイク駆動計算による効率的なビジュアル処理のための有望なパラダイムを提供するが、そのソフトマックスフリースパイキング自己注意(SSA)は、空間的に局所化されたトークン相互作用を確立するのに苦労している。 既存の局所性向上SSA法は精度を向上するが,各層間の空間的局所性や異なるスパイキングトランスフォーマーアーキテクチャを連続的に引き起こすかは定かではない。 平均的注意距離 (MAD) 分析により, 計算的局所性は必ずしも空間的局所性に変換されないことが明らかとなり, 同じ局所性拡張を均一に適用することは, アーキテクチャに依存した配置要求を無視することを示す。 そこで我々は,境界連続経路を用いた空間連続的局所注意(SCLA-BCP)を提案する。 SCLAは、空間的に隣接したトークンの重複しない領域内の注意を計算し、BCPは軽量な畳み込み経路を通じて境界を越えた情報交換を促進する。 さらに,2つの主要なSpking Transformerアーキテクチャに対して,SCLA-BCPを効果的に適用するための階層的局所性配置戦略を開発した。 分類、検出、セグメンテーションを含む7つの静的およびニューロモルフィックなデータセットに対する大規模な実験は、限られたパラメータとエネルギーオーバーヘッドで一貫した改善を示している。 特に、私たちのアプローチでは、COCO 2017ではmAP@50が9.50%、ADE20KではmIoUが3.42%改善しています。 可視化、MAD分析、アブレーション研究は、その効果をさらに検証している。

関連論文リスト

• Spiking Local Interaction and Adaptive Complementary Fusion for Spiking Transformer [19.12698354620558]
  スパイキング・トランスフォーマーは、主にスパイキング・セルフアテンション(SSA)を介してトークン相互作用をモデル化する Spiking Local Interaction (SLI) と Adaptive Complementary Fusion (ACF) を紹介する。 ACFはSSAとSLIを、異なるネットワーク深さでのコントリビューションを適応的にバランスする層特異的なチャネルワイド係数を通じて統合する。
  論文  参考訳（メタデータ） (2026-08-11T14:23:26Z)
• Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
  カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。 既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。 動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:57:46Z)
• RELO: Reinforcement Learning to Localize for Visual Object Tracking [70.27265738642956]
  視覚的物体追跡のためのReinforcement-learning-to-LOcalize法であるRELOを紹介する。 RELOは、手作りの空間先行を空間的位置から学習した局所化ポリシーに置き換える。 我々は、RELOがテンプレート更新なしでLaSOText上で57.5%のAUCを達成することを示す。
  論文  参考訳（メタデータ） (2026-05-08T07:34:29Z)
• ViCrop-Det: Spatial Attention Entropy Guided Cropping for Training-Free Small-Object Detection [6.1221124436192875]
  ViCrop-Detは、適応的な空間信頼領域収縮を導入する、トレーニング不要な推論フレームワークである。 RT-DETR-R50 と Deformable DETR に +1-3 mAP@50 を連続的に追加し,20-23% の遅延オーバヘッドを有することを示す。 計算マッチング設定下では、適応的ルーティング戦略は、一様スライシングベースラインを包括的に超越し、高度に最適化された精度-速度トレードオフを実現する。
  論文  参考訳（メタデータ） (2026-04-29T15:35:03Z)
• OVS-DINO: Open-Vocabulary Segmentation via Structure-Aligned SAM-DINO with Language Guidance [53.45125687428705]
  Open-Vocabularyは、セマンティック記述を活用することで、定義済みのカテゴリセットを超えてイメージ領域を分割することを目的としている。 近年の取り組みは、これらの制限を軽減するために、DINOのようなVision Foundation Models (VFM) を取り入れている。 我々は,構造アライメントを通じてDINOの潜在エッジ感度を活性化する新しいフレームワークであるOVS-DINOを提案する。
  論文  参考訳（メタデータ） (2026-04-09T16:57:11Z)
• OCTOPUS: Enhancing the Spatial-Awareness of Vision SSMs with Multi-Dimensional Scans and Traversal Selection [20.717476762904038]
  我々は,大域的コンテキストと画像内の局所空間構造の両方を保存する新しいアーキテクチャであるOCTOPUSを紹介する。 OCTOPUSは8つの主方向に沿って個別に再起し、水平方向、垂直方向、対角方向を前方または後方に進む。 分類とセグメンテーションのベンチマークでは、OCTOPUSは境界保存と領域の整合性において顕著な改善を示した。
  論文  参考訳（メタデータ） (2026-01-31T21:12:59Z)
• Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
  本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。 実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• Exploring Consistency in Cross-Domain Transformer for Domain Adaptive Semantic Segmentation [51.10389829070684]
  ドメインギャップは、自己注意の相違を引き起こす可能性がある。 このギャップのため、変圧器は、ターゲット領域の精度を低下させる刺激領域または画素に付随する。 ドメイン横断の注意層を持つアテンションマップに適応する。
  論文  参考訳（メタデータ） (2022-11-27T02:40:33Z)
• Weakly Supervised Object Localization via Transformer with Implicit Spatial Calibration [20.322494442959762]
  Wakly Supervised Object Localization (WSOL) は、実際のアプリケーションでアノテーションのコストが低いため、多くの注目を集めている。 パッチトークンとそれらの空間関係のセマンティックな類似性を統合拡散モデルに組み込んだ,正確なWSOLのためのシンプルで効果的な空間モジュール(SCM)を提案する。 SCMはTransformerの外部モジュールとして設計されており、推論中に除去して計算コストを削減することができる。
  論文  参考訳（メタデータ） (2022-07-21T12:37:15Z)
• An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning [77.72330187258498]
  エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。 ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。 グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
  論文  参考訳（メタデータ） (2021-11-03T11:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。