Fugu-MT 論文翻訳(概要): RTFormer: Re-parameter TSBN Spiking Transformer

論文の概要: RTFormer: Re-parameter TSBN Spiking Transformer

arxiv url: http://arxiv.org/abs/2406.14180v1
Date: Thu, 20 Jun 2024 10:38:50 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 14:11:31.235538
Title: RTFormer: Re-parameter TSBN Spiking Transformer
Title（参考訳）: RTFormer: Re-parameter TSBN Spiking Transformer
Authors: Hongzhi Wang, Xiubo Liang, Mengjian Li, Tao Zhang,
Abstract要約: スパイキングニューラルネットワーク(SNN)はバイオインスパイアされた動作機構とエネルギー効率で有名である。しかし、SNNはエネルギー効率と高度なタスクの計算要求のバランスをとることの課題に直面している。
参考スコア（独自算出の注目度）: 6.084523870811491
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Spiking Neural Networks (SNNs), renowned for their bio-inspired operational mechanism and energy efficiency, mirror the human brain's neural activity. Yet, SNNs face challenges in balancing energy efficiency with the computational demands of advanced tasks. Our research introduces the RTFormer, a novel architecture that embeds Re-parameterized Temporal Sliding Batch Normalization (TSBN) within the Spiking Transformer framework. This innovation optimizes energy usage during inference while ensuring robust computational performance. The crux of RTFormer lies in its integration of reparameterized convolutions and TSBN, achieving an equilibrium between computational prowess and energy conservation.
Abstract（参考訳）: バイオインスパイアされた動作機構とエネルギー効率で有名なスパイキングニューラルネットワーク(SNN)は、人間の脳の神経活動を反映している。しかし、SNNはエネルギー効率と高度なタスクの計算要求のバランスをとることの課題に直面している。本稿では,TSBN(Re-parameterized Temporal Sliding Batch Normalization)をSpking Transformerフレームワークに組み込んだ新しいアーキテクチャRTFormerを紹介する。この革新は、堅牢な計算性能を確保しながら、推論中のエネルギー使用量を最適化する。 RTFormerの要点は、再パラメータ化された畳み込みとTSBNの統合にあり、計算能力とエネルギー保存の均衡を達成している。

関連論文リスト

SpikeAtConv: An Integrated Spiking-Convolutional Attention Architecture for Energy-Efficient Neuromorphic Vision Processing [11.687193535939798]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる生物学的にインスパイアされた代替手段を提供する。 SNNは、画像分類などの複雑な視覚的タスクにおいて、まだ競争力のある性能を達成できていない。本研究では,有効性とタスク精度の向上を目的とした新しいSNNアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-11-26T13:57:38Z)
Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
The Potential of Combined Learning Strategies to Enhance Energy Efficiency of Spiking Neuromorphic Systems [0.0]
この原稿は、畳み込みスパイキングニューラルネットワーク(CSNN)のための新しい複合学習アプローチを通じて、脳にインスパイアされた知覚コンピュータマシンの強化に焦点を当てている。 CSNNは、人間の脳にインスパイアされたエネルギー効率の良いスパイクニューロン処理を提供する、バックプロパゲーションのような従来のパワー集約的で複雑な機械学習手法に代わる、有望な代替手段を提供する。
論文参考訳（メタデータ） (2024-08-13T18:40:50Z)
Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
論文参考訳（メタデータ） (2024-07-08T23:33:12Z)
Energy-Efficient On-Board Radio Resource Management for Satellite Communications via Neuromorphic Computing [59.40731173370976]
本研究は,エネルギー効率のよい脳誘発機械学習モデルのオンボード無線リソース管理への応用について検討する。関連するワークロードでは、Loihi 2に実装されたスパイクニューラルネットワーク(SNN)の方が精度が高く、CNNベースのリファレンスプラットフォームと比較して消費電力が100ドル以上削減される。
論文参考訳（メタデータ） (2023-08-22T03:13:57Z)
RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
論文参考訳（メタデータ） (2023-05-22T13:57:41Z)
TopSpark: A Timestep Optimization Methodology for Energy-Efficient Spiking Neural Networks on Autonomous Mobile Agents [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパース計算と効率的なオンライン学習による低消費電力/エネルギー処理を提供する。 TopSparkは、適応タイムステップの削減を利用して、トレーニングと推論の両方でエネルギー効率の良いSNN処理を可能にする新しい手法である。
論文参考訳（メタデータ） (2023-03-03T10:20:45Z)
Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文参考訳（メタデータ） (2022-09-29T14:16:49Z)
Optimizing the Consumption of Spiking Neural Networks with Activity Regularization [15.317534913990633]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、二元活性化を用いてエネルギーを節約し、スパイクしないときにエネルギーを消費しないバイオインスパイアされた技術の例である。本研究では、ニューラルネットワークの活性化マップに疎結合を強制するための異なる手法を検討し、最適化されたDNNとSNNの効率に対する異なるトレーニング正規化器の効果を比較する。
論文参考訳（メタデータ） (2022-04-04T13:19:47Z)
Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文参考訳（メタデータ） (2021-02-15T19:36:18Z)
Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文参考訳（メタデータ） (2020-02-21T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。