論文の概要: Bayesian Continual Learning via Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2208.13723v1
• Date: Mon, 29 Aug 2022 17:11:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 12:51:37.237838
• Title: Bayesian Continual Learning via Spiking Neural Networks
• Title（参考訳）: スパイキングニューラルネットワークによるベイズ連続学習
• Authors: Nicolas Skatchkovsky, Hyeryung Jang, Osvaldo Simeone
• Abstract要約: 我々は,学習課題の変更に適応可能なニューロモルフィックシステムの設計に向けて一歩踏み出した。 ベイズ連続学習フレームワーク内のニューラルネットワーク(SNN)をスパイクするためのオンライン学習ルールを導出する。 実数値と二値のシナプス重みに対する提案手法のインスタンス化を行う。
• 参考スコア（独自算出の注目度）: 38.518936229794214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Among the main features of biological intelligence are energy efficiency, capacity for continual adaptation, and risk management via uncertainty quantification. Neuromorphic engineering has been thus far mostly driven by the goal of implementing energy-efficient machines that take inspiration from the time-based computing paradigm of biological brains. In this paper, we take steps towards the design of neuromorphic systems that are capable of adaptation to changing learning tasks, while producing well-calibrated uncertainty quantification estimates. To this end, we derive online learning rules for spiking neural networks (SNNs) within a Bayesian continual learning framework. In it, each synaptic weight is represented by parameters that quantify the current epistemic uncertainty resulting from prior knowledge and observed data. The proposed online rules update the distribution parameters in a streaming fashion as data are observed. We instantiate the proposed approach for both real-valued and binary synaptic weights. Experimental results using Intel's Lava platform show the merits of Bayesian over frequentist learning in terms of capacity for adaptation and uncertainty quantification.
• Abstract（参考訳）: 生物学的知性の主な特徴は、エネルギー効率、継続的な適応能力、不確実性定量化によるリスク管理である。 神経形工学は、生物の脳の時間に基づく計算パラダイムからインスピレーションを得てエネルギー効率の高い機械を実装するという目標によって、これまでほとんど推進されてきた。 本稿では,学習タスクの変更に適応可能な神経形態的システムの設計に向けて,不確実性定量化推定の精度向上を図りながらステップを踏み出す。 この目的のために、ベイズ連続学習フレームワーク内でニューラルネットワーク(snn)をスパイクするオンライン学習ルールを導出する。 それぞれのシナプス重みは、事前の知識と観測データから生じる現在の認識の不確かさを定量化するパラメータによって表される。 提案するオンラインルールでは,データとして配信パラメータをストリーミング形式で更新する。 実数値と二値のシナプス重みに対する提案手法のインスタンス化を行う。 intelのlavasプラットフォームを用いた実験結果は、適応能力と不確実性定量化の観点から、頻繁な学習よりもベイジアンのメリットを示している。

関連論文リスト

• Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
  スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。 SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。 この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。 本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
  論文  参考訳（メタデータ） (2024-11-11T15:20:54Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Enhanced quantum state preparation via stochastic prediction of neural network [0.8287206589886881]
  本稿では,ニューラルネットワークの知識盲点を生かして,アルゴリズムの有効性を高めるための興味深い道を探る。 本手法は,半導体ダブル量子ドットシステムにおける任意の量子状態の生成に使用される機械学習アルゴリズムを中心にしている。 ニューラルネットワークが生成した予測を活用することにより、最適化プロセスの導出により、局所最適化を回避できる。
  論文  参考訳（メタデータ） (2023-07-27T09:11:53Z)
• Statistical mechanics of continual learning: variational principle and mean-field potential [1.559929646151698]
  重み付き単層および多層ニューラルネットワークにおける連続学習に着目する。 ニューラルネットワークをフィールド空間でトレーニングする,変分ベイズ学習環境を提案する。 重みの不確実性は自然に組み込まれ、タスク間のシナプス資源を調節する。 提案するフレームワークは、弾力的な重みの強化、重みの不確実性学習、神経科学によるメタ可塑性にも結びついている。
  論文  参考訳（メタデータ） (2022-12-06T09:32:45Z)
• Efficient Bayes Inference in Neural Networks through Adaptive Importance Sampling [19.518237361775533]
  BNNでは、トレーニング段階で、未知の重みとバイアスパラメータの完全な後部分布が生成される。 この機能は、数え切れないほどの機械学習アプリケーションに役立ちます。 医療医療や自動運転など、意思決定に重大な影響を及ぼす分野において特に魅力的である。
  論文  参考訳（メタデータ） (2022-10-03T14:59:23Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• EqSpike: Spike-driven Equilibrium Propagation for Neuromorphic Implementations [9.952561670370804]
  我々は、ニューロモルフィックシステムと互換性のあるEqSpikeと呼ばれるスパイクニューラルネットワークアルゴリズムを開発した。 シリコンニューロモルフィック技術に実装されたEqSpikeは,それぞれ推論とトレーニングのエネルギー消費を削減できることを示した。
  論文  参考訳（メタデータ） (2020-10-15T16:25:29Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。