Fugu-MT 論文翻訳(概要): RTFormer: Re-parameter TSBN Spiking Transformer

論文の概要: RTFormer: Re-parameter TSBN Spiking Transformer

arxiv url: http://arxiv.org/abs/2406.14180v1
Date: Thu, 20 Jun 2024 10:38:50 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 14:11:31.235538
Title: RTFormer: Re-parameter TSBN Spiking Transformer
Title（参考訳）: RTFormer: Re-parameter TSBN Spiking Transformer
Authors: Hongzhi Wang, Xiubo Liang, Mengjian Li, Tao Zhang,
Abstract要約: スパイキングニューラルネットワーク(SNN)はバイオインスパイアされた動作機構とエネルギー効率で有名である。しかし、SNNはエネルギー効率と高度なタスクの計算要求のバランスをとることの課題に直面している。
参考スコア（独自算出の注目度）: 6.084523870811491
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Spiking Neural Networks (SNNs), renowned for their bio-inspired operational mechanism and energy efficiency, mirror the human brain's neural activity. Yet, SNNs face challenges in balancing energy efficiency with the computational demands of advanced tasks. Our research introduces the RTFormer, a novel architecture that embeds Re-parameterized Temporal Sliding Batch Normalization (TSBN) within the Spiking Transformer framework. This innovation optimizes energy usage during inference while ensuring robust computational performance. The crux of RTFormer lies in its integration of reparameterized convolutions and TSBN, achieving an equilibrium between computational prowess and energy conservation.
Abstract（参考訳）: バイオインスパイアされた動作機構とエネルギー効率で有名なスパイキングニューラルネットワーク(SNN)は、人間の脳の神経活動を反映している。しかし、SNNはエネルギー効率と高度なタスクの計算要求のバランスをとることの課題に直面している。本稿では,TSBN(Re-parameterized Temporal Sliding Batch Normalization)をSpking Transformerフレームワークに組み込んだ新しいアーキテクチャRTFormerを紹介する。この革新は、堅牢な計算性能を確保しながら、推論中のエネルギー使用量を最適化する。 RTFormerの要点は、再パラメータ化された畳み込みとTSBNの統合にあり、計算能力とエネルギー保存の均衡を達成している。

関連論文リスト

Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
論文参考訳（メタデータ） (2024-07-08T23:33:12Z)
Parallel Spiking Unit for Efficient Training of Spiking Neural Networks [8.912926151352888]
スパイキングニューラルネットワーク(SNN)は、人工知能の進歩に使用される。 SNNは、その固有の逐次計算依存によって妨げられている。本稿では、革新的なParallel Spiking Unit(PSU)とその2つの誘導体、IPSU(IPSU)とRPSU(RPSU)を紹介する。これらの変種は、リセットプロセスを確率的に管理しながら、スパイキングニューロンの漏れた積分と発火機構を巧みに分離する。
論文参考訳（メタデータ） (2024-02-01T09:36:26Z)
Multiagent Reinforcement Learning with an Attention Mechanism for Improving Energy Efficiency in LoRa Networks [52.96907334080273]
ネットワーク規模が大きくなるにつれて、パケット衝突によるLoRaネットワークのエネルギー効率は急激に低下する。マルチエージェント強化学習(MALoRa)に基づく伝送パラメータ割り当てアルゴリズムを提案する。シミュレーションの結果,MALoRaはベースラインアルゴリズムと比較してシステムEEを著しく改善することがわかった。
論文参考訳（メタデータ） (2023-09-16T11:37:23Z)
Energy-Efficient On-Board Radio Resource Management for Satellite Communications via Neuromorphic Computing [59.40731173370976]
本研究は,エネルギー効率のよい脳誘発機械学習モデルのオンボード無線リソース管理への応用について検討する。関連するワークロードでは、Loihi 2に実装されたスパイクニューラルネットワーク(SNN)の方が精度が高く、CNNベースのリファレンスプラットフォームと比較して消費電力が100ドル以上削減される。
論文参考訳（メタデータ） (2023-08-22T03:13:57Z)
Auto-Spikformer: Spikformer Architecture Search [22.332981906087785]
自己注意機構がスパイキングニューラルネットワーク(SNN)に統合された SpikformerのようなSNNアーキテクチャの最近の進歩は、有望な成果を示している。最適化されたSpikformerアーキテクチャの探索を自動化する一発トランスフォーマーアーキテクチャ検索(TAS)手法であるAuto-Spikformerを提案する。
論文参考訳（メタデータ） (2023-06-01T15:35:26Z)
RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
論文参考訳（メタデータ） (2023-05-22T13:57:41Z)
TopSpark: A Timestep Optimization Methodology for Energy-Efficient Spiking Neural Networks on Autonomous Mobile Agents [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパース計算と効率的なオンライン学習による低消費電力/エネルギー処理を提供する。 TopSparkは、適応タイムステップの削減を利用して、トレーニングと推論の両方でエネルギー効率の良いSNN処理を可能にする新しい手法である。
論文参考訳（メタデータ） (2023-03-03T10:20:45Z)
Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文参考訳（メタデータ） (2022-09-29T14:16:49Z)
Optimizing the Consumption of Spiking Neural Networks with Activity Regularization [15.317534913990633]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、二元活性化を用いてエネルギーを節約し、スパイクしないときにエネルギーを消費しないバイオインスパイアされた技術の例である。本研究では、ニューラルネットワークの活性化マップに疎結合を強制するための異なる手法を検討し、最適化されたDNNとSNNの効率に対する異なるトレーニング正規化器の効果を比較する。
論文参考訳（メタデータ） (2022-04-04T13:19:47Z)
Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文参考訳（メタデータ） (2021-02-15T19:36:18Z)
Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文参考訳（メタデータ） (2020-02-21T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。