論文の概要: Brain-inspired Multilayer Perceptron with Spiking Neurons

• arxiv url: http://arxiv.org/abs/2203.14679v1
• Date: Mon, 28 Mar 2022 12:21:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 15:26:41.761174
• Title: Brain-inspired Multilayer Perceptron with Spiking Neurons
• Title（参考訳）: スパイキングニューロンを用いた脳インスパイア多層セプトロン
• Authors: Wenshuo Li, Hanting Chen, Jianyuan Guo, Ziyang Zhang, Yunhe Wang
• Abstract要約: スパイキングネットワーク(SNN)は、脳にインスパイアされた最も有名なニューラルネットワークである。 脳にインスパイアされたニューラルネットワークからの情報通信機構を導入する。 LIFモジュールでは、当社のSNN-MLPモデルは、ImageNetデータセット上で81.9%、83.3%、83.5%のトップ1の精度を達成した。
• 参考スコア（独自算出の注目度）: 41.600417794312506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Multilayer Perceptron (MLP) becomes the hotspot in the field of computer vision tasks. Without inductive bias, MLPs perform well on feature extraction and achieve amazing results. However, due to the simplicity of their structures, the performance highly depends on the local features communication machenism. To further improve the performance of MLP, we introduce information communication mechanisms from brain-inspired neural networks. Spiking Neural Network (SNN) is the most famous brain-inspired neural network, and achieve great success on dealing with sparse data. Leaky Integrate and Fire (LIF) neurons in SNNs are used to communicate between different time steps. In this paper, we incorporate the machanism of LIF neurons into the MLP models, to achieve better accuracy without extra FLOPs. We propose a full-precision LIF operation to communicate between patches, including horizontal LIF and vertical LIF in different directions. We also propose to use group LIF to extract better local features. With LIF modules, our SNN-MLP model achieves 81.9%, 83.3% and 83.5% top-1 accuracy on ImageNet dataset with only 4.4G, 8.5G and 15.2G FLOPs, respectively, which are state-of-the-art results as far as we know.
• Abstract（参考訳）: 近年,多層パーセプトロン(MLP)がコンピュータビジョンタスクの分野でホットスポットとなっている。 帰納バイアスがなければ、MDPは特徴抽出に優れ、素晴らしい結果が得られる。 しかし、それらの構造が単純であるため、その性能は局所的な特徴通信マヒニズムに大きく依存する。 mlpの性能をさらに向上するため,脳に触発されたニューラルネットワークからの情報通信機構を導入する。 spiking neural network (snn)は、脳に触発された最も有名なニューラルネットワークであり、スパースデータを扱うことで大きな成功を収めている。 SNNのLeaky Integrate and Fire(LIF)ニューロンは、異なる時間ステップ間で通信するために使用される。 本稿では, LIFニューロンの機構をMLPモデルに組み込んで, FLOPを余分に必要とせずに精度を向上する。 水平LIFおよび垂直LIFを含むパッチ間を異なる方向に通信する全精度LIF演算を提案する。 また,グループlifを用いてより優れた局所的特徴を抽出することを提案する。 LIFモジュールでは、当社のSNN-MLPモデルは、ImageNetデータセットの81.9%、83.3%、83.5%のトップ-1の精度をそれぞれ4.4G、8.5G、15.2GのFLOPで達成しています。

関連論文リスト

• When Spiking neural networks meet temporal attention image decoding and adaptive spiking neuron [7.478056407323783]
  スパイキングニューラルネットワーク(SNN)は、生物学的に妥当な方法で時間情報をエンコードし、処理することができる。 本稿では,時間的注意(TAID)に基づく画像復号法と適応型Leaky-Integrate-and-Fireニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:21:55Z)
• CLIF: Complementary Leaky Integrate-and-Fire Neuron for Spiking Neural Networks [5.587069105667678]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 差別化できないスパイク機構のため、SNNを訓練することは依然として困難である。 本稿では、Leaky Integrate-and-Fire Neuron-based SNNとComplementary Leaky Integrate-and-Fire Neuronを提案する。
  論文  参考訳（メタデータ） (2024-02-07T08:51:57Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Convolutional Neural Networks Exploiting Attributes of Biological Neurons [7.3517426088986815]
  畳み込みニューラルネットワーク(CNN)のようなディープニューラルネットワークは、最前線として登場し、しばしば人間の能力を上回っている。 ここでは,生物ニューロンの原理をCNNの特定の層に統合する。 我々は,CNNの入力として使用する画像の特徴を抽出し,訓練効率の向上と精度の向上を期待する。
  論文  参考訳（メタデータ） (2023-11-14T16:58:18Z)
• KLIF: An optimized spiking neuron unit for tuning surrogate gradient slope and membrane potential [0.0]
  スパイキングニューラルネットワーク(SNN)は、時間情報を処理する能力によって、多くの注目を集めている。 SNNのための効率的かつ高性能な学習アルゴリズムを開発することは依然として困難である。 我々は,SNNの学習能力を向上させるため,新しいk-based leaky Integrate-and-Fireneurnモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-18T05:18:18Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition [123.59890802196797]
  画像認識のための多層パーセプトロン型ニューラルネットワーク構築ブロックであるRepMLPを提案する。 トレーニング中にRepMLP内に畳み込み層を構築し,それをFCにマージして推論を行う。 従来のCNNにRepMLPを挿入することで、ImageNetでは1.8%の精度、顔認識では2.9%、FLOPの低いCityscapeでは2.3%のmIoUを改善します。
  論文  参考訳（メタデータ） (2021-05-05T06:17:40Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。