論文の概要: Lightweight Inference for Forward-Forward Training Algorithm
- arxiv url: http://arxiv.org/abs/2404.05241v1
- Date: Mon, 8 Apr 2024 07:11:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 15:13:56.768078
- Title: Lightweight Inference for Forward-Forward Training Algorithm
- Title(参考訳): 前向きトレーニングアルゴリズムのための軽量推論
- Authors: Amin Aminifar, Baichuan Huang, Azra Abtahi, Amir Aminifar,
- Abstract要約: 本稿では,フォワードフォワードアルゴリズムを用いて学習したディープニューラルネットワークを対象とした,軽量な推論手法を提案する。
MNISTデータセットとCIFARデータセット、およびてんかん性発作検出と心臓不整脈分類の2つの現実的応用について検討した。
- 参考スコア(独自算出の注目度): 8.139698572179487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The human brain performs tasks with an outstanding energy-efficiency, i.e., with approximately 20 Watts. The state-of-the-art Artificial/Deep Neural Networks (ANN/DNN), on the other hand, have recently been shown to consume massive amounts of energy. The training of these ANNs/DNNs is done almost exclusively based on the back-propagation algorithm, which is known to be biologically implausible. This has led to a new generation of forward-only techniques, including the Forward-Forward algorithm. In this paper, we propose a lightweight inference scheme specifically designed for DNNs trained using the Forward-Forward algorithm. We have evaluated our proposed lightweight inference scheme in the case of the MNIST and CIFAR datasets, as well as two real-world applications, namely, epileptic seizure detection and cardiac arrhythmia classification using wearable technologies, where complexity overheads/energy consumption is a major constraint, and demonstrate its relevance.
- Abstract(参考訳): 人間の脳は優れたエネルギー効率、すなわち約20ワットのワットでタスクを実行する。
一方、最先端のArtificial/Deep Neural Networks(ANN/DNN)は、最近大量のエネルギーを消費していることが示されている。
これらのANN/DNNのトレーニングは、ほとんど生物学的に不可能であることが知られているバックプロパゲーションアルゴリズムに基づいて行われる。
これにより、Forward-Forwardアルゴリズムを含む、新しい世代のフォワード専用技術が生まれた。
本稿では,Forward-Forwardアルゴリズムを用いてトレーニングしたDNNを対象とした,軽量な推論手法を提案する。
我々は,MNIST と CIFAR データセットを用いた軽量推論手法と,その関連性を示す2つの実世界の応用,すなわちてんかん性発作検出と,ウェアラブル技術を用いた心臓不整脈分類について検討した。
関連論文リスト
- Event-Driven Learning for Spiking Neural Networks [43.17286932151372]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの分野で注目されている。
バックプロパゲーション学習コストを最小限に抑えるために、SNNのスパースイベント駆動プロパティから効果的に利益を得るには、依然としてオープンな課題である。
本稿では,スパイクタイミング依存イベント駆動(STD-ED)アルゴリズムと膜電位依存イベント駆動(MPD-ED)アルゴリズムの2つの新しい学習手法を紹介する。
論文 参考訳(メタデータ) (2024-03-01T04:17:59Z) - LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization [51.9395471326897]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitESNNという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-01-26T05:23:11Z) - Recent Advances in Scalable Energy-Efficient and Trustworthy Spiking
Neural networks: from Algorithms to Technology [11.479629320025673]
スパイキングニューラルネットワーク(SNN)は、幅広い信号処理アプリケーションのために、ディープニューラルネットワークの魅力的な代替品となっている。
我々は、低レイテンシとエネルギー効率のSNNを効率的に訓練し、拡張するためのアルゴリズムと最適化の進歩について述べる。
デプロイ可能なSNNシステム構築における研究の今後の可能性について論じる。
論文 参考訳(メタデータ) (2023-12-02T19:47:00Z) - Gaining the Sparse Rewards by Exploring Lottery Tickets in Spiking Neural Network [8.210103222339784]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)よりも低レイテンシで低エネルギーな性質のため、有望なソリューションを提供する。
本稿では, スパイキング型LT (SLTs) について検討し, その特性と極端な効率性について検討した。
Patch Embedding Projection (ConvPEP)モジュールに畳み込み操作を組み込んだスパイキングトランスフォーマー構造に適したスパースアルゴリズムが提案されている。
論文 参考訳(メタデータ) (2023-09-23T08:24:36Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳(メタデータ) (2023-03-17T02:01:11Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。
textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
論文 参考訳(メタデータ) (2021-05-13T21:34:55Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - Temporal Pulses Driven Spiking Neural Network for Fast Object
Recognition in Autonomous Driving [65.36115045035903]
スパイキングニューラルネットワーク(SNN)を用いた生時間パルスで直接物体認識問題に対処する手法を提案する。
各種データセットを用いて評価した結果,提案手法は最先端の手法に匹敵する性能を示しながら,優れた時間効率を実現している。
論文 参考訳(メタデータ) (2020-01-24T22:58:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。