論文の概要: Supervised Training of Siamese Spiking Neural Networks with Earth's Mover Distance

• arxiv url: http://arxiv.org/abs/2203.13207v1
• Date: Sun, 20 Feb 2022 00:27:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-27 05:43:54.756586
• Title: Supervised Training of Siamese Spiking Neural Networks with Earth's Mover Distance
• Title（参考訳）: 地球の移動距離を考慮したシアムスパイクニューラルネットワークの教師付き訓練
• Authors: Mateusz Pabian, Dominik Rzepka, Miros{\l}aw Pawlak
• Abstract要約: 本研究は,高可逆性シアムニューラルネットモデルをイベントデータ領域に適応させる。 我々はスパイク・トレインとスパイク・ニューラル・ネットワーク(SNN)の間の地球のモーバー距離を最適化するための教師付きトレーニング・フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 4.047840018793636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study adapts the highly-versatile siamese neural network model to the event data domain. We introduce a supervised training framework for optimizing Earth's Mover Distance (EMD) between spike trains with spiking neural networks (SNN). We train this model on images of the MNIST dataset converted into spiking domain with novel conversion schemes. The quality of the siamese embeddings of input images was evaluated by measuring the classifier performance for different dataset coding types. The models achieved performance similar to existing SNN-based approaches (F1-score of up to 0.9386) while using only about 15% of hidden layer neurons to classify each example. Furthermore, models which did not employ a sparse neural code were about 45% slower than their sparse counterparts. These properties make the model suitable for low energy consumption and low prediction latency applications.
• Abstract（参考訳）: 本研究は、高度に可逆なシアムニューラルネットワークモデルをイベントデータ領域に適用する。 本研究では,スパイクトレインとスパイクニューラルネットワーク(SNN)間の地球距離(EMD)を最適化するための教師付きトレーニングフレームワークを提案する。 我々は、mnistデータセットを新しい変換スキームでスパイキングドメインに変換するイメージで、このモデルをトレーニングする。 入力画像のシアム埋め込みの品質を,異なるデータセット符号化型の分類器性能の測定により評価した。 モデルは既存のSNNベースのアプローチ(F1スコアは最大0.9386)と同様のパフォーマンスを達成し、各例を分類するために隠蔽層ニューロンの15%しか使用しなかった。 さらに、スパースニューラルコードを使用しないモデルはスパースニューラルコードよりも約45%遅くなった。 これらの特性は、低エネルギー消費と低予測遅延アプリケーションに適したモデルを作成する。

関連論文リスト

• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Analyzing Populations of Neural Networks via Dynamical Model Embedding [10.455447557943463]
  ディープニューラルネットワークの解釈における中核的な課題は、同じタスクのためにトレーニングされた異なるネットワークによって実装された基盤となるアルゴリズム間の共通点を特定することである。 この問題に触発されたDYNAMOは,各点がニューラルネットワークモデルに対応する低次元多様体を構築するアルゴリズムであり,対応するニューラルネットワークが同様のハイレベルな計算処理を実行する場合,その近傍に2つの点が存在する。 DYNAMOは、事前訓練されたニューラルネットワークのコレクションを入力として、隠された状態のダイナミクスとコレクション内の任意のモデルの出力をエミュレートするメタモデルを出力する。
  論文  参考訳（メタデータ） (2023-02-27T19:00:05Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Parameter estimation for WMTI-Watson model of white matter using encoder-decoder recurrent neural network [0.0]
  本研究では,ラットおよびヒト脳のデータセット上でのNLLS,RNN法および多層パーセプトロン(MLP)の性能を評価する。 提案手法は,NLLSよりも計算時間を大幅に短縮できるという利点を示した。
  論文  参考訳（メタデータ） (2022-03-01T16:33:15Z)
• An alternative approach to train neural networks using monotone variational inequality [22.320632565424745]
  本稿では,モノトーンベクトル場を用いたニューラルネットワークトレーニングの代替手法を提案する。 我々のアプローチは、事前訓練されたニューラルネットワークのより効率的な微調整に利用できる。
  論文  参考訳（メタデータ） (2022-02-17T19:24:20Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• MLDS: A Dataset for Weight-Space Analysis of Neural Networks [0.0]
  MLDSは、注意深く制御されたパラメータを持つ何千ものトレーニングニューラルネットワークからなる新しいデータセットである。 このデータセットは、モデル-to-modelとモデル-to-training-data関係に関する新たな洞察を可能にする。
  論文  参考訳（メタデータ） (2021-04-21T14:24:26Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Wireless Localisation in WiFi using Novel Deep Architectures [4.541069830146568]
  本稿では,コモディティ・チップセットと標準チャネル・サウンドによるWiFi機器の屋内位置推定について検討する。 本稿では、異なるアンテナで受信されたWiFiサブキャリアに対応するチャネル状態情報から特徴を抽出する、新しい浅層ニューラルネットワーク(SNN)を提案する。
  論文  参考訳（メタデータ） (2020-10-16T22:48:29Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。