論文の概要: LightFF: Lightweight Inference for Forward-Forward Algorithm

• arxiv url: http://arxiv.org/abs/2404.05241v6
• Date: Fri, 30 Aug 2024 15:17:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 20:01:42.690803
• Title: LightFF: Lightweight Inference for Forward-Forward Algorithm
• Title（参考訳）: LightFF:フォワードフォワードアルゴリズムのための軽量推論
• Authors: Amin Aminifar, Baichuan Huang, Azra Abtahi, Amir Aminifar,
• Abstract要約: 本稿では,Forward-Forwardアルゴリズムを用いてトレーニングしたANN/DNNを対象とした,軽量な推論手法を提案する。 MNIST と CIFAR のデータセットと2つの実世界のアプリケーションについて,提案手法の評価を行った。
• 参考スコア（独自算出の注目度）: 8.139698572179487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The human brain performs tasks with an outstanding energy efficiency, i.e., with approximately 20 Watts. The state-of-the-art Artificial/Deep Neural Networks (ANN/DNN), on the other hand, have recently been shown to consume massive amounts of energy. The training of these ANNs/DNNs is done almost exclusively based on the back-propagation algorithm, which is known to be biologically implausible. This has led to a new generation of forward-only techniques, including the Forward-Forward algorithm. In this paper, we propose a lightweight inference scheme specifically designed for DNNs trained using the Forward-Forward algorithm. We have evaluated our proposed lightweight inference scheme in the case of the MNIST and CIFAR datasets, as well as two real-world applications, namely, epileptic seizure detection and cardiac arrhythmia classification using wearable technologies, where complexity overheads/energy consumption is a major constraint, and demonstrate its relevance. Our code is available at https://github.com/AminAminifar/LightFF.
• Abstract（参考訳）: 人間の脳は優れたエネルギー効率、すなわち約20ワットのワットでタスクを実行する。 一方、最先端のArtificial/Deep Neural Networks(ANN/DNN)は、最近大量のエネルギーを消費していることが示されている。 これらのANN/DNNのトレーニングは、ほとんど生物学的に不可能であることが知られているバックプロパゲーションアルゴリズムに基づいて行われる。 これにより、フォワード-フォワードアルゴリズムを含む、新しい世代のフォワード専用技術が導かれた。 本稿では,Forward-Forwardアルゴリズムを用いてトレーニングしたDNNを対象とした,軽量な推論手法を提案する。 我々は,MNIST と CIFAR データセットを用いた軽量推論手法と,その関連性を示す2つの実世界の応用,すなわちてんかん性発作検出と,ウェアラブル技術を用いた心臓不整脈分類について検討した。 私たちのコードはhttps://github.com/AminAminifar/LightFF.comで利用可能です。

関連論文リスト

• A Converting Autoencoder Toward Low-latency and Energy-efficient DNN Inference at the Edge [4.11949030493552]
  エッジデバイスに適した低レイテンシかつエネルギー効率のDeep Neural Network (DNN) 推論フレームワークであるCBNetを提案する。 変換」オートエンコーダを使用して、ハードイメージを簡単なものに効率よく変換する。 CBNetは推論遅延の4.8倍のスピードアップと79%のエネルギー消費の削減を実現している。
  論文  参考訳（メタデータ） (2024-03-11T08:13:42Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Training Quantized Deep Neural Networks via Cooperative Coevolution [27.967480639403796]
  本稿では,ディープニューラルネットワーク(DNN)の定量化手法を提案する。 協調的共進化の枠組みでは,分布推定アルゴリズムを用いて低ビット重みの探索を行う。 実験の結果,Cifar-10データセット上で4ビットのResNet-20を,精度を犠牲にすることなくトレーニングできることがわかった。
  論文  参考訳（メタデータ） (2021-12-23T09:13:13Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
  textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。 textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-05-13T21:34:55Z)
• Encrypted Internet traffic classification using a supervised Spiking Neural Network [2.8544513613730205]
  本稿では,パケットサイズと到着時刻のみに着目し,暗号化されたトラフィック分類のための機械学習手法を用いる。 スパイクニューラルネットワーク(SNN)は、生物学的ニューロンの動作方法に触発される。 驚くべきことに、単純なSNNはISCXデータセットで95.9%の精度に達し、以前のアプローチを上回った。
  論文  参考訳（メタデータ） (2021-01-24T22:46:08Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。