論文の概要: Temporal support vectors for spiking neuronal networks
- arxiv url: http://arxiv.org/abs/2205.14544v1
- Date: Sat, 28 May 2022 23:47:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-04 17:39:49.154246
- Title: Temporal support vectors for spiking neuronal networks
- Title（参考訳）: スパイキングニューロンネットワークのための時間支援ベクター
- Authors: Ran Rubin and Haim Sompolinsky
- Abstract要約: 静的サポートベクトルマシン(T-SVM)の新たな拡張について紹介する。
我々はT-SVMとそのカーネル拡張がスパイキングニューロンの堅牢なシナプス重みベクトルを生成することを示す。
本稿では, 非線形核を持つT-SVMを, 神経樹状突起木の非線形性と広範な形態の計算的役割の新しいモデルとして提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When neural circuits learn to perform a task, it is often the case that there
are many sets of synaptic connections that are consistent with the task.
However, only a small number of possible solutions are robust to noise in the
input and are capable of generalizing their performance of the task to new
inputs. Finding such good solutions is an important goal of learning systems in
general and neuronal circuits in particular. For systems operating with static
inputs and outputs, a well known approach to the problem is the large margin
methods such as Support Vector Machines (SVM). By maximizing the distance of
the data vectors from the decision surface, these solutions enjoy increased
robustness to noise and enhanced generalization abilities. Furthermore, the use
of the kernel method enables SVMs to perform classification tasks that require
nonlinear decision surfaces. However, for dynamical systems with event based
outputs, such as spiking neural networks and other continuous time threshold
crossing systems, this optimality criterion is inapplicable due to the strong
temporal correlations in their input and output. We introduce a novel extension
of the static SVMs - The Temporal Support Vector Machine (T-SVM). The T-SVM
finds a solution that maximizes a new construct - the dynamical margin. We show
that T-SVM and its kernel extensions generate robust synaptic weight vectors in
spiking neurons and enable their learning of tasks that require nonlinear
spatial integration of synaptic inputs. We propose T-SVM with nonlinear kernels
as a new model of the computational role of the nonlinearities and extensive
morphologies of neuronal dendritic trees.
- Abstract（参考訳）: ニューラルネットワークがタスクを実行することを学習する場合、多くの場合、タスクと整合した多くのシナプス接続が存在する。
しかし、少数の可能なソリューションだけが入力のノイズに頑健であり、タスクのパフォーマンスを新しい入力に一般化することができる。
このような優れた解を見つけることは、一般および神経回路における学習システムの重要な目標である。
静的入力と出力で動作するシステムでは、問題に対するよく知られたアプローチは、サポートベクターマシン(svm)のような大きなマージンメソッドである。
決定面からデータベクトルの距離を最大化することで、これらの解は雑音に対する頑健性を高め、一般化能力を高めることができる。
さらに、カーネル法を用いることで、SVMは非線形決定曲面を必要とする分類タスクを実行できる。
しかしながら、スパイクニューラルネットワークやその他の連続時間しきい値交差システムのようなイベントベースの出力を持つ力学系では、この最適性基準は入力と出力の強い時間相関のために適用できない。
本稿では,静的SVM - The Temporal Support Vector Machine (T-SVM) の新たな拡張について紹介する。
T-SVMは、新しい構造である動的マージンを最大化するソリューションを見つける。
我々はT-SVMとそのカーネル拡張がスパイキングニューロンの堅牢なシナプス重みベクトルを生成し、シナプス入力の非線形空間積分を必要とするタスクの学習を可能にすることを示す。
非線形核を持つt-svmを,神経樹の非線形性と広範な形態の計算的役割の新しいモデルとして提案する。
関連論文リスト
- Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。
提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
論文 参考訳（メタデータ） (2024-06-12T12:12:38Z) - Distributed Representations Enable Robust Multi-Timescale Symbolic Computation in Neuromorphic Hardware [3.961418890143814]
本稿では,ロバストなマルチスケールダイナミックスをアトラクタベースRSNNに組み込むシングルショット重み学習方式について述べる。
対称自己解離重み行列を重畳することにより、有限状態機械をRSNN力学に組み込む。
この研究は、リカレントダイナミクスによる堅牢な記号計算をニューロモルフィックハードウェアに組み込むスケーラブルなアプローチを導入している。
論文 参考訳（メタデータ） (2024-05-02T14:11:50Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Amplifying Sine Unit: An Oscillatory Activation Function for Deep Neural
Networks to Recover Nonlinear Oscillations Efficiently [0.0]
本研究では,マイクロエレクトロメカニクスシステムにおける非線形振動を処理するために,応答層構造を持つディープニューラルネットワークに基づく手法を提案する。
我々は、複雑な振動系において、GCUよりも効率的なASUと呼ばれる新しい振動活性化関数Amplifying Sine Unitを提案している。
提案するアクティベーション関数ASUを用いた設計ネットワークは,非線形性や発振による課題に対処するため,信頼性が高く,堅牢であることを示す。
論文 参考訳（メタデータ） (2023-04-18T14:08:15Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Training very large scale nonlinear SVMs using Alternating Direction
Method of Multipliers coupled with the Hierarchically Semi-Separable kernel
approximations [0.0]
非線形サポートベクトルマシン(SVM)は、線形マシンと比較して、かなり高い分類品質が得られる。
彼らの計算複雑性は、大規模なデータセットでは禁じられている。
論文 参考訳（メタデータ） (2021-08-09T16:52:04Z) - Nonlinear computations in spiking neural networks through multiplicative
synapses [3.1498833540989413]
非線形計算は、スパイクニューラルネットワークでうまく実装できる。
これは教師付きトレーニングを必要とし、その結果の接続性は解釈が難しい。
いくつかの非線形力学系において, 必要な接続性を直接導出する方法を示す。
論文 参考訳（メタデータ） (2020-09-08T16:47:27Z) - Theory of gating in recurrent neural networks [5.672132510411465]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、機械学習(ML)や神経科学で広く使われている強力な動的モデルである。
ここでは、ゲーティングが集合力学の2つの健全な特徴を柔軟に制御できることを示す。
ゲート制御の時間スケールは、ネットワークがフレキシブルインテグレータとして機能する、新しい、極端に安定な状態につながる。
論文 参考訳（メタデータ） (2020-07-29T13:20:58Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。