論文の概要: Rethinking Pairwise Token Interaction in Spiking Transformers
- arxiv url: http://arxiv.org/abs/2609.26297v1
- Date: Tue, 22 Sep 2026 12:10:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.353713
- Title: Rethinking Pairwise Token Interaction in Spiking Transformers
- Title（参考訳）: スパイキングトランスにおけるペアワイズトケインインタラクションの再考
- Abstract要約: スパイキングトランスフォーマーは従来のトランスフォーマーからトークンインタラクションメカニズムを継承する。
本稿では,コンテキスト選択から情報伝達を分離するスパイクネイティブトークンインタラクション機構を提案する。
- 参考スコア（独自算出の注目度）: 19.359003015617606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking Transformers inherit token interaction mechanisms from conventional Transformers, yet their sparse binary representations fundamentally alter how token-to-token communication is established. In particular, spike-based query-key matching produces highly sparse and input-dependent interaction patterns, coupling information propagation to the instantaneous availability of matching spike events. This motivates a different interaction paradigm in which long-range communication does not rely solely on pairwise spike coincidence. We therefore propose Gated Spike Axial Propagation (GSAP), a spike-native token interaction mechanism that decouples information propagation from context selection. Instead of directly determining communication through query-key matching, GSAP first propagates spike-based context along the horizontal and vertical axes, allowing information to reach distant tokens through structured sequential propagation. A receiver-conditioned gate then determines how much of the propagated context is incorporated at each token, while a lightweight local pathway preserves fine-grained neighborhood information. In this way, GSAP reformulates token interaction as a propagate-then-select process, enabling structured long-range communication while retaining the sparse event-driven nature of spiking representations. Code is available at https://github.com/Fancyssc/GSAP.
- Abstract（参考訳）: スパイキングトランスフォーマーは従来のトランスフォーマーからトークン間通信機構を継承するが、その疎なバイナリ表現はトークン間通信の確立方法を根本的に変える。
特に、スパイクベースのクエリキーマッチングは、非常にスパースで入力に依存した相互作用パターンを生成し、マッチングスパイクイベントの即時可用性に結合情報を伝達する。
これは、長距離通信がペアスパイクの偶然にのみ依存しない、異なる相互作用パラダイムを動機付けている。
そこで我々は,コンテキスト選択から情報伝達を分離するスパイクネイティブトークン相互作用機構であるGated Spike Axial Propagation (GSAP)を提案する。
クエリキーマッチングによる通信を直接決定する代わりに、GSAPはまず水平軸と垂直軸に沿ってスパイクベースのコンテキストを伝搬し、構造化されたシーケンシャルな伝播を通じて情報を遠くのトークンに到達させる。
受信側条件のゲートが各トークンにどの程度の伝搬コンテキストが組み込まれているかを決定する一方、軽量なローカルパスはきめ細かい周辺情報を保存する。
このようにして、GSAPはトークン相互作用をプロパゲート-then-selectプロセスとして再構成し、スパイキング表現のスパース事象駆動性を維持しながら構造化された長距離通信を可能にする。
コードはhttps://github.com/Fancyssc/GSAPで入手できる。
関連論文リスト
- Token-Oriented Semantic Communication with Pretrained Vision Transformers [19.377096772248418]
本稿では,emphtoken指向のセマンティック・コミュニケーション・フレームワークを提案する。
このフレームワークでは、トークンレベルのタスク関連性により、圧縮された画像ラテントが送信されるかが決定される。
ImageNetの実験では,提案フレームワークは近年のセマンティック通信方式よりも,より良好なレート-精度のトレードオフを実現している。
論文 参考訳（メタデータ） (2026-08-26T06:13:45Z) - RoleMix: Unifying Sequential and Non-Sequential Features via Semantic Tokenization for Post-Click Conversion Rate Prediction [1.6050320174037502]
RoleMixは、共有されたロール保存トークンインターフェースを通じて、シーケンシャルかつ非シーケンシャルなエビデンスを表す。
大規模なKDDカップ2026 Tencent UniRec Challengeでは、RoleMixは83.648%のオンラインAUCを達成し、公式産業ベースラインを1.953%上回っている。
論文 参考訳（メタデータ） (2026-07-18T15:44:48Z) - Representative Attention For Vision Transformers [11.0298065364767]
直線的注意は、高密度自己注意の二次コストを超えてビジョントランスフォーマーをスケールするための有望な方向として現れている。
本稿では,表現空間内で直接トークン圧縮を行う線形グローバルアテンション機構である代表注意(Representive Attention, RPAttention)を提案する。
RPAttentionは、空間トークンの数に関して、支配的なトークン相互作用の複雑さを2次から線形スケーリングに還元する。
論文 参考訳（メタデータ） (2026-05-14T14:48:20Z) - PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments [72.02445514666428]
静的な嗜好リコールを超えてペルマの一貫性を評価するためのベンチマークであるPERMAを紹介する。
PerMAは、複数のセッションとドメインにまたがる時間的に順序付けられたインタラクションイベントと、時間とともに好みに関連するクエリで構成されている。
実験により、関連するインタラクションをリンクすることで、高度なメモリシステムはより正確な好みを抽出し、トークン消費を減らすことができることが示された。
論文 参考訳（メタデータ） (2026-03-24T14:04:11Z) - Entropy-based Coarse and Compressed Semantic Speech Representation Learning [72.18542411704347]
圧縮された意味表現を学習するためのエントロピーに基づく動的集約フレームワークを提案する。
ASR、音声からテキストへの変換、音声変換タスクの実験は、圧縮された表現が密度の高いトークンシーケンスと同等以上のパフォーマンスを示すことを示した。
論文 参考訳（メタデータ） (2025-08-30T13:50:58Z) - SEP-GCN: Leveraging Similar Edge Pairs with Temporal and Spatial Contexts for Location-Based Recommender Systems [0.0]
SEP-GCNは、文脈的に類似した相互作用エッジのペアから学習する新しいグラフベースのレコメンデーションフレームワークである。
SEP-GCNは、類似の時間的ウィンドウや地理的近接で発生するエッジペアを識別することにより、コンテキスト的類似性リンクでユーザ-itemグラフを拡張する。
ベンチマークデータセットの実験では、SEP-GCNは予測精度とロバスト性の両方において、強いベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2025-06-19T03:48:30Z) - An Effective-Efficient Approach for Dense Multi-Label Action Detection [23.100602876056165]
i)時間的依存関係と(ii)共起行動関係を同時に学習する必要がある。
近年のアプローチは階層型トランスフォーマーネットワークによるマルチスケール特徴抽出による時間情報のモデル化である。
我々はこれを階層設計における複数のサブサンプリングプロセスと組み合わせることで、位置情報のさらなる喪失につながると論じている。
論文 参考訳（メタデータ） (2024-06-10T11:33:34Z) - Semantic-Native Communication: A Simplicial Complex Perspective [50.099494681671224]
トポロジカル空間の観点から意味コミュニケーションを研究する。
送信機はまずデータを$k$の単純複素数にマッピングし、その高次相関を学習する。
受信機は構造を復号し、行方不明または歪んだデータを推測する。
論文 参考訳（メタデータ） (2022-10-30T22:33:44Z) - Context-Aware Interaction Network for Question Matching [51.76812857301819]
本研究では,二つのシーケンスを整合させ,それらの意味関係を推定する文脈認識インタラクションネットワーク(coin)を提案する。
具体的には,(1)コンテキスト情報を効果的に統合するためのコンテキスト対応のクロスアテンション機構,(2)整列表現を柔軟に補間するゲート融合層を備える。
論文 参考訳（メタデータ） (2021-04-17T05:03:56Z) - Cluster-Former: Clustering-based Sparse Transformer for Long-Range
Dependency Encoding [90.77031668988661]
Cluster-Formerはクラスタリングベースの新しいスパーストランスであり、チャンクされたシーケンスにまたがって注意を向ける。
提案されたフレームワークは、Sliding-Window LayerとCluster-Former Layerの2つのユニークなタイプのTransformer Layerにピボットされている。
実験によると、Cluster-Formerはいくつかの主要なQAベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-09-13T22:09:30Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳（メタデータ） (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。