論文の概要: Spiking Local Interaction and Adaptive Complementary Fusion for Spiking Transformer
- arxiv url: http://arxiv.org/abs/2608.19238v1
- Date: Tue, 11 Aug 2026 14:23:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.343384
- Title: Spiking Local Interaction and Adaptive Complementary Fusion for Spiking Transformer
- Title（参考訳）: スパイキング変圧器の局所相互作用と適応補間
- Abstract要約: スパイキング・トランスフォーマーは、主にスパイキング・セルフアテンション(SSA)を介してトークン相互作用をモデル化する
Spiking Local Interaction (SLI) と Adaptive Complementary Fusion (ACF) を紹介する。
ACFはSSAとSLIを、異なるネットワーク深さでのコントリビューションを適応的にバランスする層特異的なチャネルワイド係数を通じて統合する。
- 参考スコア（独自算出の注目度）: 19.12698354620558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Transformers model token interactions primarily through spiking self-attention (SSA). However, binary query and key representations map continuous similarities to sparse and discrete relation responses, which may suppress weak relations and limit the propagation of local spatial context. To address this limitation, we introduce Spiking Local Interaction (SLI) and Adaptive Complementary Fusion (ACF). SLI establishes an attention-independent pathway for direct information exchange among neighboring spiking tokens using lightweight depthwise--pointwise transformations. ACF integrates SSA and SLI through layer-specific, channel-wise coefficients that adaptively balance their contributions at different network depths. The proposed design preserves the original attention formulation and can be incorporated into different Spiking Transformer architectures with modest parameter overhead. Experiments on ImageNet-1K, CIFAR-10, CIFAR-100, CIFAR10-DVS, and ADE20K show consistent improvements across image classification, event-based recognition, and semantic segmentation. In particular, QKFormer with SLI and ACF achieves $84.37\%$ Top-1 accuracy on ImageNet-1K and $37.5\%$ mIoU on ADE20K, where the segmentation model is trained without ImageNet pretraining. Ablation studies and qualitative analyses further indicate that SSA and SLI capture complementary interaction patterns and that learnable fusion consistently outperforms fixed weighting.
- Abstract（参考訳）: スパイキングトランスフォーマーは、主にスパイキング自己注意(SSA)を通してトークンの相互作用をモデル化する。
しかし、バイナリクエリとキー表現はスパースと離散的な関係応答と連続した類似性をマッピングし、弱い関係を抑え、局所的な空間コンテキストの伝播を制限する。
この制限に対処するために、スパイキングローカル・インタラクション(SLI)とアダプティブ・コンプレメンタリ・フュージョン(ACF)を導入する。
SLIは、光深度-ポイントワイズ変換を用いた近隣のスパイキングトークン間の直接情報交換のための注意非依存の経路を確立する。
ACFはSSAとSLIを、異なるネットワーク深さでのコントリビューションを適応的にバランスする層特異的なチャネルワイド係数を通じて統合する。
提案した設計は、本来のアテンションの定式化を保ち、パラメータのオーバーヘッドが緩やかな異なるSpking Transformerアーキテクチャに組み込むことができる。
ImageNet-1K、CIFAR-10、CIFAR-100、CIFAR10-DVS、ADE20Kの実験では、画像分類、イベントベースの認識、セマンティックセグメンテーションに一貫した改善が見られた。
特に、SLIとACFを使用したQKFormerは、ImageNet-1Kで84.37\%$ Top-1精度、ADE20Kで37.5\%$ mIoUを達成する。
アブレーション研究と定性的分析により、SSAとSLIは相補的な相互作用パターンを捉え、学習可能な融合は固定重み付けよりも一貫して優れていることが示された。
関連論文リスト
- TailProp: content-adaptive light- and heavy-tailed propagation for vision [11.825348402205051]
本稿では,階層型視覚バックボーンであるTailPropを紹介した。
TailPropは画像分類、オブジェクト検出、セマンティックセグメンテーション、ロバスト性、クロスバック復元などにわたって、一致した伝搬ベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-09-10T04:38:45Z) - Rethinking Attention Locality in Spiking Transformers [50.00501275379363]
スパイキングトランスフォーマーは、スパイク駆動計算による効率的なビジュアル処理のための有望なパラダイムを提供する。
彼らのSSA(Softmax-free Spiking Self-Attention)は、空間的に局所化されたトークン相互作用を確立するのに苦労している。
境界連続経路(SCLA-BCP)を用いた空間連続的局所的注意法を提案する。
当社のアプローチでは、2017年のCOCOではmAP@50が9.50%、ADE20KではmIoUが3.42%改善しています。
論文 参考訳（メタデータ） (2026-08-09T07:36:17Z) - SPARE: Structural Parameter-Free Affinity Regularization for Flow Matching [30.43836162456455]
内部表現の正規化は効果的な加速器として現れているが、既存の手法は相補的なコストで2つのファミリーに分かれている。
構造について提案する。
Free Affinity Regularization (SPARE) は、中間トークンのペアの親和性とクリーンな潜在性の親和性とを一致させる正規化器である。
ImageNetでは、400Kレートの予算でSiTバックボーンと$256の256$で、SPAREはエンコーダ、ヘッド、パラメータを追加せず、トレーニングメモリはわずか0.08GBである。
論文 参考訳（メタデータ） (2026-08-03T09:50:51Z) - SSR: Similarity-Shift Refinement for Training-Free Object-Centric Masks [0.6302369456012739]
類似性シフトリファインメントは、自己監督型視覚変換器でオブジェクト中心のマスクを改善する。
SSRは、自己アテンション値のアグリゲーションの前後で、ペアワイズパッチの類似性の変化を測定する。
これは、両方のモデルを再訓練したり修正したりすることなく、最初のソフトスロット割り当てを単一の改良ステップで伝達する。
論文 参考訳（メタデータ） (2026-08-02T09:06:06Z) - Cross-Sample Relational Fusion: Unifying Domain Generalization and Class-Incremental Learning [83.67663266193308]
CIL(Class-Incremental Learning)は、学習システムにおいて、それまでの知識を維持しつつ、新しいクラスを学ぶことを必要とする。
自動運転車のような現実のシナリオでは、晴れた日に都市部の道路で訓練されたシステムは、後に農村部や高速道路環境で運用する必要がある。
ドメインシフトと破滅的な忘れを同時に解決する統合フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-09T09:49:13Z) - Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。
分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。
本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
論文 参考訳（メタデータ） (2026-02-06T16:39:10Z) - FCC: Fully Connected Correlation for Few-Shot Segmentation [11.277022867553658]
Few-shot segmentation (FSS) は、少数のサポートイメージとマスクのみを使用して、ターゲットオブジェクトをクエリイメージにセグメントすることを目的としている。
従来の手法では, 最終層や同層の特徴に対する画素レベルの相関関係から相関写像を作成することで, 事前情報を得る方法が試みられている。
サポート機能とクエリ機能の間にピクセルレベルの相関関係を統合するためにFCC(Fully Connected correlation)を導入する。
論文 参考訳（メタデータ） (2024-11-18T03:32:02Z) - Affine-based Deformable Attention and Selective Fusion for Semi-dense Matching [30.272791354494373]
モデル断面変形に対するアフィン系局所的注意を導入する。
また、クロスアテンションからローカルメッセージとグローバルメッセージをマージするための選択的融合も提示する。
論文 参考訳（メタデータ） (2024-05-22T17:57:37Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳（メタデータ） (2023-12-19T08:14:14Z) - Adaptive Split-Fusion Transformer [90.04885335911729]
本稿では,適応重みによる畳み込みと注目の分岐を異なる方法で扱うための適応分割変換器(ASF-former)を提案する。
ImageNet-1Kのような標準ベンチマークの実験では、我々のASFフォーマーはCNN、トランスフォーマー、ハイブリッドパイロットを精度で上回っている。
論文 参考訳（メタデータ） (2022-04-26T10:00:28Z) - Semantic Correspondence with Transformers [68.37049687360705]
本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。
初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。
提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
論文 参考訳（メタデータ） (2021-06-04T14:39:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。