Fugu-MT 論文翻訳(概要): RTFormer: Re-parameter TSBN Spiking Transformer

論文の概要: RTFormer: Re-parameter TSBN Spiking Transformer

arxiv url: http://arxiv.org/abs/2406.14180v1
Date: Thu, 20 Jun 2024 10:38:50 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 14:11:31.235538
Title: RTFormer: Re-parameter TSBN Spiking Transformer
Title（参考訳）: RTFormer: Re-parameter TSBN Spiking Transformer
Authors: Hongzhi Wang, Xiubo Liang, Mengjian Li, Tao Zhang,
Abstract要約: スパイキングニューラルネットワーク(SNN)はバイオインスパイアされた動作機構とエネルギー効率で有名である。しかし、SNNはエネルギー効率と高度なタスクの計算要求のバランスをとることの課題に直面している。
参考スコア（独自算出の注目度）: 6.084523870811491
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Spiking Neural Networks (SNNs), renowned for their bio-inspired operational mechanism and energy efficiency, mirror the human brain's neural activity. Yet, SNNs face challenges in balancing energy efficiency with the computational demands of advanced tasks. Our research introduces the RTFormer, a novel architecture that embeds Re-parameterized Temporal Sliding Batch Normalization (TSBN) within the Spiking Transformer framework. This innovation optimizes energy usage during inference while ensuring robust computational performance. The crux of RTFormer lies in its integration of reparameterized convolutions and TSBN, achieving an equilibrium between computational prowess and energy conservation.
Abstract（参考訳）: バイオインスパイアされた動作機構とエネルギー効率で有名なスパイキングニューラルネットワーク(SNN)は、人間の脳の神経活動を反映している。しかし、SNNはエネルギー効率と高度なタスクの計算要求のバランスをとることの課題に直面している。本稿では,TSBN(Re-parameterized Temporal Sliding Batch Normalization)をSpking Transformerフレームワークに組み込んだ新しいアーキテクチャRTFormerを紹介する。この革新は、堅牢な計算性能を確保しながら、推論中のエネルギー使用量を最適化する。 RTFormerの要点は、再パラメータ化された畳み込みとTSBNの統合にあり、計算能力とエネルギー保存の均衡を達成している。

関連論文リスト

Combining Aggregated Attention and Transformer Architecture for Accurate and Efficient Performance of Spiking Neural Networks [44.145870290310356]
近年、スパイキングニューラルネットワークは、その特徴的な低消費電力特性のために、大きな注目を集めている。トランスフォーマーモデルは、強力な自己アテンション機構と並列処理能力で知られており、様々な領域で例外的な性能を示している。 SNNとTransformersの双方の大きな利点にもかかわらず、SNNの低消費電力の利点とTransformersの性能を直接組み合わせることは困難である。
論文参考訳（メタデータ） (2024-12-18T07:07:38Z)
Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文参考訳（メタデータ） (2024-12-05T09:41:33Z)
SpikeAtConv: An Integrated Spiking-Convolutional Attention Architecture for Energy-Efficient Neuromorphic Vision Processing [11.687193535939798]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる生物学的にインスパイアされた代替手段を提供する。 SNNは、画像分類などの複雑な視覚的タスクにおいて、まだ競争力のある性能を達成できていない。本研究では,有効性とタスク精度の向上を目的とした新しいSNNアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-11-26T13:57:38Z)
Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
論文参考訳（メタデータ） (2024-07-08T23:33:12Z)
Energy-Efficient On-Board Radio Resource Management for Satellite Communications via Neuromorphic Computing [59.40731173370976]
本研究は,エネルギー効率のよい脳誘発機械学習モデルのオンボード無線リソース管理への応用について検討する。関連するワークロードでは、Loihi 2に実装されたスパイクニューラルネットワーク(SNN)の方が精度が高く、CNNベースのリファレンスプラットフォームと比較して消費電力が100ドル以上削減される。
論文参考訳（メタデータ） (2023-08-22T03:13:57Z)
RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
論文参考訳（メタデータ） (2023-05-22T13:57:41Z)
TopSpark: A Timestep Optimization Methodology for Energy-Efficient Spiking Neural Networks on Autonomous Mobile Agents [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパース計算と効率的なオンライン学習による低消費電力/エネルギー処理を提供する。 TopSparkは、適応タイムステップの削減を利用して、トレーニングと推論の両方でエネルギー効率の良いSNN処理を可能にする新しい手法である。
論文参考訳（メタデータ） (2023-03-03T10:20:45Z)
Optimizing the Consumption of Spiking Neural Networks with Activity Regularization [15.317534913990633]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、二元活性化を用いてエネルギーを節約し、スパイクしないときにエネルギーを消費しないバイオインスパイアされた技術の例である。本研究では、ニューラルネットワークの活性化マップに疎結合を強制するための異なる手法を検討し、最適化されたDNNとSNNの効率に対する異なるトレーニング正規化器の効果を比較する。
論文参考訳（メタデータ） (2022-04-04T13:19:47Z)
Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文参考訳（メタデータ） (2020-02-21T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。