論文の概要: Competitive plasticity to reduce the energetic costs of learning
- arxiv url: http://arxiv.org/abs/2304.02594v1
- Date: Tue, 4 Apr 2023 12:01:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 11:56:08.915844
- Title: Competitive plasticity to reduce the energetic costs of learning
- Title(参考訳): 学習のエネルギーコスト削減のための競争的可塑性
- Authors: Mark CW van Rossum
- Abstract要約: フィードフォワードニューラルネットワークの学習に必要なエネルギーについて検討する。
エネルギーを節約する2つの可塑性制限アルゴリズムを提案する。
その結果、生物の可塑性をよりよく理解し、人工学習と生物学習のマッチングがより良くなるかもしれない。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The brain is not only constrained by energy needed to fuel computation, but
it is also constrained by energy needed to form memories. Experiments have
shown that learning simple conditioning tasks already carries a significant
metabolic cost. Yet, learning a task like MNIST to 95% accuracy appears to
require at least 10^{8} synaptic updates. Therefore the brain has likely
evolved to be able to learn using as little energy as possible. We explored the
energy required for learning in feedforward neural networks. Based on a
parsimonious energy model, we propose two plasticity restricting algorithms
that save energy: 1) only modify synapses with large updates, and 2) restrict
plasticity to subsets of synapses that form a path through the network.
Combining these two methods leads to substantial energy savings while only
incurring a small increase in learning time. In biology networks are often much
larger than the task requires. In particular in that case, large savings can be
achieved. Thus competitively restricting plasticity helps to save metabolic
energy associated to synaptic plasticity. The results might lead to a better
understanding of biological plasticity and a better match between artificial
and biological learning. Moreover, the algorithms might also benefit hardware
because in electronics memory storage is energetically costly as well.
- Abstract(参考訳): 脳は計算に要するエネルギーに制約されるだけでなく、記憶を形成するのに必要なエネルギーにも制約される。
実験により、単純な条件付けタスクの学習にはかなりの代謝コストがかかることが示されている。
しかし、MNISTのようなタスクを95%の精度で学習するには、少なくとも10^{8}のシナプス更新が必要である。
そのため、脳はできるだけ少ないエネルギーで学べるように進化した可能性が高い。
フィードフォワードニューラルネットワークの学習に必要なエネルギーについて検討した。
擬似エネルギーモデルに基づいて、エネルギーを節約する2つの可塑性制限アルゴリズムを提案する。
1) 大規模な更新でのみシナプスを修正し、
2)ネットワークを経由する経路を形成するシナプスの部分集合に可塑性を制限する。
これら2つの手法を組み合わせることで、学習時間が少なくなる一方、かなりの省エネにつながる。
生物学では、ネットワークは課題よりもはるかに大きいことが多い。
特にその場合,大きな節約が実現できます。
このように、可塑性を競争的に制限することはシナプス可塑性に関連する代謝エネルギーの節約に役立つ。
その結果、生物の可塑性をよりよく理解し、人工学習と生物学習のマッチングをより良くする可能性がある。
さらに、電子メモリストレージにもコストがかかるため、このアルゴリズムはハードウェアにも恩恵をもたらす可能性がある。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳(メタデータ) (2024-02-26T15:01:54Z) - Learning with Chemical versus Electrical Synapses -- Does it Make a
Difference? [61.85704286298537]
バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。
我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
論文 参考訳(メタデータ) (2023-11-21T13:07:20Z) - Leveraging dendritic properties to advance machine learning and
neuro-inspired computing [0.0]
脳は驚くほど有能で効率的なシステムです。
現在の人工知能システムは、生物エージェントにとって簡単なタスクで競争するのに苦労しながら、トレーニングのために膨大なリソースを必要としている。
脳にインスパイアされたエンジニアリングは、持続可能な次世代AIシステムを設計するための、有望な新しい道として登場した。
論文 参考訳(メタデータ) (2023-06-13T09:07:49Z) - Energy Transformer [64.22957136952725]
我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。
本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-02-14T18:51:22Z) - Tuning Synaptic Connections instead of Weights by Genetic Algorithm in
Spiking Policy Network [5.371345045382104]
ニューロン間のスパイクコミュニケーションと生物学的に解明可能なシナプス可塑性の統合について検討した。
DRLの代替エネルギーとして遺伝的アルゴリズムを用いてスパイキングポリシーネットワーク(SPN)を最適化する。
本手法はDRL法の性能レベルを達成し,エネルギー効率を著しく向上させることができる。
論文 参考訳(メタデータ) (2022-12-29T12:36:36Z) - Sequence learning in a spiking neuronal network with memristive synapses [0.0]
脳計算の中心にある中核的な概念は、シーケンス学習と予測である。
ニューロモルフィックハードウェアは、脳が情報を処理する方法をエミュレートし、ニューロンとシナプスを直接物理的基質にマッピングする。
シークエンス学習モデルにおける生物学的シナプスの代替としてReRAMデバイスを使用することの可能性について検討する。
論文 参考訳(メタデータ) (2022-11-29T21:07:23Z) - Continual learning benefits from multiple sleep mechanisms: NREM, REM,
and Synaptic Downscaling [51.316408685035526]
先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。
本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
論文 参考訳(メタデータ) (2022-09-09T13:45:27Z) - Learning Iterative Reasoning through Energy Minimization [77.33859525900334]
ニューラルネットワークを用いた反復推論のための新しいフレームワークを提案する。
すべての出力に対してエネルギーランドスケープをパラメータ化するために、ニューラルネットワークをトレーニングします。
エネルギー最小化ステップとして反復推論の各ステップを実装し,最小限のエネルギー解を求める。
論文 参考訳(メタデータ) (2022-06-30T17:44:20Z) - Short-Term Plasticity Neurons Learning to Learn and Forget [0.0]
短期可塑性(英: Short-term plasticity、STP)は、大脳皮質のシナプスに崩壊する記憶を保存するメカニズムである。
ここでは、新しいタイプのリカレントニューラルネットワークであるAtari Neuron(STPN)を紹介します。
論文 参考訳(メタデータ) (2022-06-28T14:47:56Z) - An Adiabatic Capacitive Artificial Neuron with RRAM-based Threshold
Detection for Energy-Efficient Neuromorphic Computing [62.997667081978825]
神経細胞の体細胞膜電位を誘導するために, 断熱性シナプスコンデンサを特徴とする人工ニューロンを提案する。
最初の4-bit adiabaticacacitive neuron proof-of-conceptの例では、90%のシナプスエネルギーが節約された。
論文 参考訳(メタデータ) (2022-02-02T17:12:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。