論文の概要: Tensor Decomposition Based Attention Module for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2310.14576v2
• Date: Thu, 11 Apr 2024 02:57:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 19:08:26.503322
• Title: Tensor Decomposition Based Attention Module for Spiking Neural Networks
• Title（参考訳）: テンソル分解に基づくスパイクニューラルネットワーク用アテンションモジュール
• Authors: Haoyu Deng, Ruijie Zhu, Xuerui Qiu, Yule Duan, Malu Zhang, Liangjian Deng,
• Abstract要約: 我々は、線形に成長するパラメータで優れた結果を示すテキストプロジェクションフルアテンション(PFA)モジュールを設計する。 本手法は,静的ベンチマークと動的ベンチマークの両方において,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 18.924242014716647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The attention mechanism has been proven to be an effective way to improve spiking neural network (SNN). However, based on the fact that the current SNN input data flow is split into tensors to process on GPUs, none of the previous works consider the properties of tensors to implement an attention module. This inspires us to rethink current SNN from the perspective of tensor-relevant theories. Using tensor decomposition, we design the \textit{projected full attention} (PFA) module, which demonstrates excellent results with linearly growing parameters. Specifically, PFA is composed by the \textit{linear projection of spike tensor} (LPST) module and \textit{attention map composing} (AMC) module. In LPST, we start by compressing the original spike tensor into three projected tensors using a single property-preserving strategy with learnable parameters for each dimension. Then, in AMC, we exploit the inverse procedure of the tensor decomposition process to combine the three tensors into the attention map using a so-called connecting factor. To validate the effectiveness of the proposed PFA module, we integrate it into the widely used VGG and ResNet architectures for classification tasks. Our method achieves state-of-the-art performance on both static and dynamic benchmark datasets, surpassing the existing SNN models with Transformer-based and CNN-based backbones.
• Abstract（参考訳）: 注意機構はスパイキングニューラルネットワーク(SNN)を改善する効果的な方法であることが証明されている。 しかし、現在のSNN入力データフローがGPU上で処理するためにテンソルに分割されているという事実から、以前の研究では、テンソルの特性を注目モジュールの実装として考慮していない。 このことは、テンソル関連理論の観点から現在のSNNを再考するきっかけとなった。 テンソル分解を用いて、線形に成長するパラメータで優れた結果を示す「textit{projected full attention} (PFA)」モジュールを設計する。 具体的には、PFA は \textit{linear projection of spike tensor} (LPST) モジュールと \textit{attention map composing} (AMC) モジュールによって構成される。 LPSTでは、各次元について学習可能なパラメータを持つ1つのプロパティ保存戦略を用いて、元のスパイクテンソルを3つの射影テンソルに圧縮することから始める。 そして、AMCでは、テンソル分解過程の逆手順を利用して、3つのテンソルを連結係数を用いて注意マップに結合する。 提案するPFAモジュールの有効性を検証するため,広く使用されているVGGとResNetアーキテクチャを統合して分類処理を行う。 提案手法は,静的ベンチマークと動的ベンチマークの両方において,トランスフォーマーベースとCNNベースのバックボーンを用いた既存のSNNモデルを上回る,最先端のパフォーマンスを実現する。

関連論文リスト

• Tensor Completion via Leverage Sampling and Tensor QR Decomposition for Network Latency Estimation [2.982069479212266]
  大規模なネットワーク遅延推定には、多くの計算時間が必要です。 より高速で高精度な新しい手法を提案する。 数値実験により,本手法は精度のよい最先端アルゴリズムよりも高速であることが確認された。
  論文  参考訳（メタデータ） (2023-06-27T07:21:26Z)
• Low-Rank Tensor Function Representation for Multi-Dimensional Data Recovery [52.21846313876592]
  低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。 テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。 提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-12-01T04:00:38Z)
• Latent Matrices for Tensor Network Decomposition and to Tensor Completion [8.301418317685906]
  テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。 LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。 実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
  論文  参考訳（メタデータ） (2022-10-07T08:19:50Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• 2D+3D facial expression recognition via embedded tensor manifold regularization [16.98176664818354]
  2D+3次元表情認識(FERETMR)のための埋め込みテンソル多様体正規化による新しい手法を提案する。 定常点の観点から一階最適条件を確立し、収束解析によるブロック座標降下(BCD)アルゴリズムを設計する。 BU-3DFEデータベースとBosphorusデータベースの数値計算結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-01-29T06:11:00Z)
• Patch-based medical image segmentation using Quantum Tensor Networks [1.5899411215927988]
  テンソルネットワークを用いた教師付き設定で画像分割を定式化する。 鍵となるアイデアは、まず画像パッチのピクセルを指数関数的に高次元の特徴空間に引き上げることである。 提案モデルの性能を3つの2次元および1つの3次元バイオメディカルイメージングデータセットで評価した。
  論文  参考訳（メタデータ） (2021-09-15T07:54:05Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• T-Basis: a Compact Representation for Neural Networks [89.86997385827055]
  テンソルの集合をコンパクトに表現するための概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。 ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
  論文  参考訳（メタデータ） (2020-07-13T19:03:22Z)
• Anomaly Detection with Tensor Networks [2.3895981099137535]
  テンソルネットワークのメモリと計算効率を利用して、原特徴数の次元指数で空間上の線形変換を学習する。 画像の局所性を利用していないにもかかわらず、画像データセット上で競合する結果を生成する。
  論文  参考訳（メタデータ） (2020-06-03T20:41:30Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。