論文の概要: Neural Sampling Machine with Stochastic Synapse allows Brain-like Learning and Inference

• arxiv url: http://arxiv.org/abs/2102.10477v1
• Date: Sat, 20 Feb 2021 23:45:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 20:03:52.098852
• Title: Neural Sampling Machine with Stochastic Synapse allows Brain-like Learning and Inference
• Title（参考訳）: 確率的シナプスを用いたニューラルネットワークによる脳様学習と推論
• Authors: Sourav Dutta, Georgios Detorakis, Abhishek Khanna, Benjamin Grisafe, Emre Neftci and Suman Datta
• Abstract要約: NNの新しいクラスであるNeural-Sampling-Machineを紹介し、シナプス接続におけるシナプス性を利用してベイズ推定を近似する。 クロスバーと金属状態の間のセレクタ要素の固有のスイッチングは、NSMのシナプス内の乗算ノイズをもたらすことを実験的に示した。 回転試料における標準画像分類タスクとデータ不確実性推定について報告する。
• 参考スコア（独自算出の注目度）: 6.138129592577736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many real-world mission-critical applications require continual online learning from noisy data and real-time decision making with a defined confidence level. Probabilistic models and stochastic neural networks can explicitly handle uncertainty in data and allow adaptive learning-on-the-fly, but their implementation in a low-power substrate remains a challenge. Here, we introduce a novel hardware fabric that implements a new class of stochastic NN called Neural-Sampling-Machine that exploits stochasticity in synaptic connections for approximate Bayesian inference. Harnessing the inherent non-linearities and stochasticity occurring at the atomic level in emerging materials and devices allows us to capture the synaptic stochasticity occurring at the molecular level in biological synapses. We experimentally demonstrate in-silico hybrid stochastic synapse by pairing a ferroelectric field-effect transistor -based analog weight cell with a two-terminal stochastic selector element. Such a stochastic synapse can be integrated within the well-established crossbar array architecture for compute-in-memory. We experimentally show that the inherent stochastic switching of the selector element between the insulator and metallic state introduces a multiplicative stochastic noise within the synapses of NSM that samples the conductance states of the FeFET, both during learning and inference. We perform network-level simulations to highlight the salient automatic weight normalization feature introduced by the stochastic synapses of the NSM that paves the way for continual online learning without any offline Batch Normalization. We also showcase the Bayesian inferencing capability introduced by the stochastic synapse during inference mode, thus accounting for uncertainty in data. We report 98.25%accuracy on standard image classification task as well as estimation of data uncertainty in rotated samples.
• Abstract（参考訳）: 多くの実世界のミッションクリティカルなアプリケーションは、ノイズの多いデータから連続的なオンライン学習と、信頼度の高いリアルタイム意思決定を必要とする。 確率的モデルと確率的ニューラルネットワークは、データの不確実性を明示的に処理し、適応的な学習を可能にする。 本稿では,ニューラルサンプリング・マヒネという,ベイズ近似推論のためのシナプス接続における確率性を生かした,新しい確率的NNを実装したハードウェアファブリックを提案する。 創発物質や装置の原子レベルで生じる固有非線形性と確率を利用して、生物学的シナプスの分子レベルで起こるシナプス確率を捉えることができる。 強誘電体電界効果トランジスタを用いたアナログウエイトセルと2端子の確率的セレクタ素子を組み合わせることで,in-silico hybrid stochastic synapseを実験的に実証した。 このような確率シナプスは、計算インメモリのための確立されたクロスバーアレイアーキテクチャ内に組み込むことができる。 実験により, 絶縁体と金属状態の間のセレクタ素子の固有の確率的切替は, 学習と推論の両方においてFeFETの伝導状態をサンプリングするNSMのシナプス内に乗算的確率的ノイズをもたらすことを示した。 我々は,NSMの確率論的シナプスによって導入された,オフラインのバッチ正規化を伴わずに連続的なオンライン学習を実現する健全な自動重み正規化機能を強調するために,ネットワークレベルのシミュレーションを行う。 また,推論モード中に確率的シナプスによって導入されたベイズ的参照能力を示し,データの不確実性を説明する。 標準画像分類タスク98.25%の精度と回転試料におけるデータ不確かさの推定について報告する。

関連論文リスト

• Heterogeneous quantization regularizes spiking neural network activity [0.0]
  本稿では、アナログデータを正規化し、スパイク位相表現に量子化する、データブラインドニューロモルフィック信号条件付け戦略を提案する。 我々は、量子化重みの範囲と密度が蓄積された入力統計に適応するデータ認識キャリブレーションステップを追加することで、このメカニズムを拡張した。
  論文  参考訳（メタデータ） (2024-09-27T02:25:44Z)
• Neuromorphic Hebbian learning with magnetic tunnel junction synapses [41.92764939721262]
  磁気トンネル接合(MTJ)の双対抵抗状態による高精度推論を実現するニューロモルフィックネットワークの提案と実験的検討を行った。 MTJシナプスで直接実装したニューロモルフィックネットワークの最初の実演を行った。 また,STT-MTJシナプスを用いた非教師型ヘビアン学習システムにより,MNIST手書き文字認識の競争精度が向上できることをシミュレーションにより実証した。
  論文  参考訳（メタデータ） (2023-08-21T19:58:44Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Machine learning using magnetic stochastic synapses [0.9236074230806579]
  ナノワイヤの磁区壁運動における従来の有害効果を利用した手法を提案する。 機能的バイナリ・シナプスを勾配学習規則とともに示し、様々なシステムに適用可能なトレーニングを可能にした。 単一測定の場合、この規則は最小限の神経性を持つバイナリシナプスとなり、強靭性に対する潜在的な性能を犠牲にする。 この観察により、所望のパフォーマンスと装置の動作速度とエネルギーコストに応じて設計原則を選択できる。
  論文  参考訳（メタデータ） (2023-03-03T12:33:29Z)
• Importance sampling for stochastic quantum simulations [68.8204255655161]
  我々は、係数に応じてハミルトン式からサンプリングしてランダムな積公式を構築するqDriftプロトコルを導入する。 サンプリング段階における個別のシミュレーションコストを考慮し、同じ精度でシミュレーションコストを削減可能であることを示す。 格子核効果場理論を用いて数値シミュレーションを行った結果, 実験結果が得られた。
  論文  参考訳（メタデータ） (2022-12-12T15:06:32Z)
• Formal Controller Synthesis for Markov Jump Linear Systems with Uncertain Dynamics [64.72260320446158]
  マルコフジャンプ線形系に対する制御器の合成法を提案する。 本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。 本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
  論文  参考訳（メタデータ） (2022-12-01T17:36:30Z)
• Shape-Dependent Multi-Weight Magnetic Artificial Synapses for Neuromorphic Computing [4.567086462167893]
  神経形コンピューティングにおいて、人工シナプスは、脳に類似したニューロンからの入力に基づいて設定される多重コンダクタンス状態を提供する。 本稿では,磁気トンネル接合と磁区壁を用いた磁気材料を用いた人工シナプスの測定を行った。
  論文  参考訳（メタデータ） (2021-11-22T20:27:14Z)
• Spatiotemporal Spike-Pattern Selectivity in Single Mixed-Signal Neurons with Balanced Synapses [0.27998963147546135]
  混合信号ニューロモルフィックプロセッサは推論と学習に使用できる。 ネットワーク層の実装に不均一なシナプス回路をいかに利用できるかを示す。
  論文  参考訳（メタデータ） (2021-06-10T12:04:03Z)
• Towards an Automatic Analysis of CHO-K1 Suspension Growth in Microfluidic Single-cell Cultivation [63.94623495501023]
  我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。 具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
  論文  参考訳（メタデータ） (2020-10-20T08:36:51Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。