論文の概要: Competitive plasticity to reduce the energetic costs of learning

• arxiv url: http://arxiv.org/abs/2304.02594v1
• Date: Tue, 4 Apr 2023 12:01:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 11:56:08.915844
• Title: Competitive plasticity to reduce the energetic costs of learning
• Title（参考訳）: 学習のエネルギーコスト削減のための競争的可塑性
• Authors: Mark CW van Rossum
• Abstract要約: フィードフォワードニューラルネットワークの学習に必要なエネルギーについて検討する。 エネルギーを節約する2つの可塑性制限アルゴリズムを提案する。 その結果、生物の可塑性をよりよく理解し、人工学習と生物学習のマッチングがより良くなるかもしれない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The brain is not only constrained by energy needed to fuel computation, but it is also constrained by energy needed to form memories. Experiments have shown that learning simple conditioning tasks already carries a significant metabolic cost. Yet, learning a task like MNIST to 95% accuracy appears to require at least 10^{8} synaptic updates. Therefore the brain has likely evolved to be able to learn using as little energy as possible. We explored the energy required for learning in feedforward neural networks. Based on a parsimonious energy model, we propose two plasticity restricting algorithms that save energy: 1) only modify synapses with large updates, and 2) restrict plasticity to subsets of synapses that form a path through the network. Combining these two methods leads to substantial energy savings while only incurring a small increase in learning time. In biology networks are often much larger than the task requires. In particular in that case, large savings can be achieved. Thus competitively restricting plasticity helps to save metabolic energy associated to synaptic plasticity. The results might lead to a better understanding of biological plasticity and a better match between artificial and biological learning. Moreover, the algorithms might also benefit hardware because in electronics memory storage is energetically costly as well.
• Abstract（参考訳）: 脳は計算に要するエネルギーに制約されるだけでなく、記憶を形成するのに必要なエネルギーにも制約される。 実験により、単純な条件付けタスクの学習にはかなりの代謝コストがかかることが示されている。 しかし、MNISTのようなタスクを95%の精度で学習するには、少なくとも10^{8}のシナプス更新が必要である。 そのため、脳はできるだけ少ないエネルギーで学べるように進化した可能性が高い。 フィードフォワードニューラルネットワークの学習に必要なエネルギーについて検討した。 擬似エネルギーモデルに基づいて、エネルギーを節約する2つの可塑性制限アルゴリズムを提案する。 1) 大規模な更新でのみシナプスを修正し、 2)ネットワークを経由する経路を形成するシナプスの部分集合に可塑性を制限する。 これら2つの手法を組み合わせることで、学習時間が少なくなる一方、かなりの省エネにつながる。 生物学では、ネットワークは課題よりもはるかに大きいことが多い。 特にその場合,大きな節約が実現できます。 このように、可塑性を競争的に制限することはシナプス可塑性に関連する代謝エネルギーの節約に役立つ。 その結果、生物の可塑性をよりよく理解し、人工学習と生物学習のマッチングをより良くする可能性がある。 さらに、電子メモリストレージにもコストがかかるため、このアルゴリズムはハードウェアにも恩恵をもたらす可能性がある。

関連論文リスト

• Memory Networks: Towards Fully Biologically Plausible Learning [2.7013801448234367]
  現在の人工ニューラルネットワークは、バックプロパゲーションやウェイトシェアリングのような技術に依存しており、脳の自然な情報処理方法と一致しない。 本稿では,逆伝播や畳み込みを回避し,単一のパスで動作させる生物学的原理にインスパイアされたメモリネットワークを提案する。
  論文  参考訳（メタデータ） (2024-09-18T06:01:35Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• A Review of Neuroscience-Inspired Machine Learning [58.72729525961739]
  バイオプルーシブル・クレジット・アサインメントは、事実上あらゆる学習条件と互換性があり、エネルギー効率が高い。 本稿では,人工ニューラルネットワークにおける信用代入の生体評価可能なルールをモデル化する,いくつかの重要なアルゴリズムについて検討する。 我々は,このようなアルゴリズムを実用アプリケーションでより有用にするためには,今後の課題に対処する必要があることを論じる。
  論文  参考訳（メタデータ） (2024-02-16T18:05:09Z)
• Learning with Chemical versus Electrical Synapses -- Does it Make a Difference? [61.85704286298537]
  バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。 我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
  論文  参考訳（メタデータ） (2023-11-21T13:07:20Z)
• Tuning Synaptic Connections instead of Weights by Genetic Algorithm in Spiking Policy Network [16.876474167808784]
  現代の深層強化学習(DRL)は、相互作用から学ぶための計算的アプローチを探求している。 DRLの代替エネルギーとして遺伝的アルゴリズムを用いたスパイキングポリシーネットワーク(SPN)を最適化した。 生物学的研究によって、脳は新たなシナプス接続を創造することで記憶を形成することが示され、与えられたタスクを解決するためにSPNの重みの代わりにシナプス接続を調整した。
  論文  参考訳（メタデータ） (2022-12-29T12:36:36Z)
• Sequence learning in a spiking neuronal network with memristive synapses [0.0]
  脳計算の中心にある中核的な概念は、シーケンス学習と予測である。 ニューロモルフィックハードウェアは、脳が情報を処理する方法をエミュレートし、ニューロンとシナプスを直接物理的基質にマッピングする。 シークエンス学習モデルにおける生物学的シナプスの代替としてReRAMデバイスを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2022-11-29T21:07:23Z)
• Continual learning benefits from multiple sleep mechanisms: NREM, REM, and Synaptic Downscaling [51.316408685035526]
  先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。 本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2022-09-09T13:45:27Z)
• Learning Iterative Reasoning through Energy Minimization [77.33859525900334]
  ニューラルネットワークを用いた反復推論のための新しいフレームワークを提案する。 すべての出力に対してエネルギーランドスケープをパラメータ化するために、ニューラルネットワークをトレーニングします。 エネルギー最小化ステップとして反復推論の各ステップを実装し,最小限のエネルギー解を求める。
  論文  参考訳（メタデータ） (2022-06-30T17:44:20Z)
• Short-Term Plasticity Neurons Learning to Learn and Forget [0.0]
  短期可塑性(英: Short-term plasticity、STP)は、大脳皮質のシナプスに崩壊する記憶を保存するメカニズムである。 ここでは、新しいタイプのリカレントニューラルネットワークであるAtari Neuron(STPN)を紹介します。
  論文  参考訳（メタデータ） (2022-06-28T14:47:56Z)
• An Adiabatic Capacitive Artificial Neuron with RRAM-based Threshold Detection for Energy-Efficient Neuromorphic Computing [62.997667081978825]
  神経細胞の体細胞膜電位を誘導するために, 断熱性シナプスコンデンサを特徴とする人工ニューロンを提案する。 最初の4-bit adiabaticacacitive neuron proof-of-conceptの例では、90%のシナプスエネルギーが節約された。
  論文  参考訳（メタデータ） (2022-02-02T17:12:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。