論文の概要: Optimality of short-term synaptic plasticity in modelling certain dynamic environments

• arxiv url: http://arxiv.org/abs/2009.06808v2
• Date: Tue, 15 Jun 2021 22:14:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 05:13:54.194304
• Title: Optimality of short-term synaptic plasticity in modelling certain dynamic environments
• Title（参考訳）: 動的環境のモデリングにおける短期シナプス塑性の最適性
• Authors: Timoleon Moraitis, Abu Sebastian, Evangelos Eleftheriou (IBM Research - Zurich)
• Abstract要約: ランダムだが連続的に変化する環境のベイズ最適予測と推測は、短期的なスパイクタイミング依存の塑性に依存している。 興味深いことに、これは生物学的にモデル化されたAIを導入し、視覚的なタスクにおいて、ディープラーニングの複数の制限を克服し、人工知能より優れた人工知能を初めて導入する。 結果は,短期的可塑性から高次皮質機能,自然環境に対する自然知能の最適性,単なる効率性から計算上の優位性まで,ニューロモルフィックなAIを示唆する。
• 参考スコア（独自算出の注目度）: 0.5371337604556311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biological neurons and their in-silico emulations for neuromorphic artificial intelligence (AI) use extraordinarily energy-efficient mechanisms, such as spike-based communication and local synaptic plasticity. It remains unclear whether these neuronal mechanisms only offer efficiency or also underlie the superiority of biological intelligence. Here, we prove rigorously that, indeed, the Bayes-optimal prediction and inference of randomly but continuously transforming environments, a common natural setting, relies on short-term spike-timing-dependent plasticity, a hallmark of biological synapses. Further, this dynamic Bayesian inference through plasticity enables circuits of the cerebral cortex in simulations to recognize previously unseen, highly distorted dynamic stimuli. Strikingly, this also introduces a biologically-modelled AI, the first to overcome multiple limitations of deep learning and outperform artificial neural networks in a visual task. The cortical-like network is spiking and event-based, trained only with unsupervised and local plasticity, on a small, narrow, and static training dataset, but achieves recognition of unseen, transformed, and dynamic data better than deep neural networks with continuous activations, trained with supervised backpropagation on the transforming data. These results link short-term plasticity to high-level cortical function, suggest optimality of natural intelligence for natural environments, and repurpose neuromorphic AI from mere efficiency to computational supremacy altogether.
• Abstract（参考訳）: 神経形人工知能(AI)のための生体ニューロンとそのシリコン内エミュレーションは、スパイクベース通信や局所シナプス可塑性などのエネルギー効率の極めて高いメカニズムを用いる。 これらの神経機構が効率性のみをもたらすのか、あるいは生物学的知能の優位性を損なうのかは不明だ。 ここでは,自然環境をランダムに連続的に変化する環境のベイズ最適予測と推論が,生物学的シナプスの目印である短期的スパイク・タイピング依存可塑性に依存していることを厳密に証明する。 さらに、この可塑性による動的ベイズ推論により、シミュレーションにおける大脳皮質の回路は、以前は目に見えず、非常に歪んだ動的刺激を認識することができる。 興味深いことに、これは生物学的にモデル化されたAIを導入し、視覚的なタスクにおいて、ディープラーニングの複数の制限を克服し、人工ニューラルネットワークを上回ります。 皮質のようなネットワークはスパイクとイベントベースで、小さな、狭く、静的なトレーニングデータセット上で、教師なし、局所的な可塑性でのみトレーニングされるが、トランスフォーメーションデータ上で教師なしのバックプロパゲーションでトレーニングされた、連続的なアクティベーションを備えたディープニューラルネットワークよりも、未認識、変換、動的データの認識が優れている。 これらの結果は短期的可塑性を高レベルの皮質機能に結びつけ、自然環境における自然知能の最適性を示唆し、神経形態学的なaiを単なる効率から計算上優位に再活用する。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Evolving Self-Assembling Neural Networks: From Spontaneous Activity to Experience-Dependent Learning [7.479827648985631]
  本稿では, 自己組織型ニューラルネットワークを, 活動と報酬に依存した方法でシナプス的, 構造的可塑性のクラスとして提案する。 その結果、ランダムに接続されたネットワークや空きネットワークから、異なる制御タスクの経験からモデルが学習できることが示されている。
  論文  参考訳（メタデータ） (2024-06-14T07:36:21Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and Artificial Neural Networks [11.730984231143108]
  発達的可塑性は、継続的な学習中に脳の構造を形成する際に顕著な役割を果たす。 ディープ人工知能ニューラルネットワーク(ANN)とスパイクニューラルネットワーク(SNN)の既存のネットワーク圧縮方法は、脳の発達する可塑性機構からほとんどインスピレーションを受けない。 本稿では, 樹状突起, シナプス, ニューロンの適応的発達的プルーニングからインスピレーションを得て, 塑性刺激による適応的プルーニング(DPAP)法を提案する。
  論文  参考訳（メタデータ） (2022-11-23T05:26:51Z)
• Towards efficient end-to-end speech recognition with biologically-inspired neural networks [10.457580011403289]
  軸-体性および軸-体性シナプスを模擬した神経接続概念を導入する。 我々は,大規模ASRモデルの生物学的に現実的な実装によって,競争性能が向上できることを初めて実証した。
  論文  参考訳（メタデータ） (2021-10-04T21:24:10Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。