論文の概要: Improving STDP-based Visual Feature Learning with Whitening
- arxiv url: http://arxiv.org/abs/2002.10177v1
- Date: Mon, 24 Feb 2020 11:48:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 02:35:55.170583
- Title: Improving STDP-based Visual Feature Learning with Whitening
- Title（参考訳）: ホワイトニングによるSTDPに基づく視覚特徴学習の改善
- Authors: Pierre Falez and Pierre Tirilly and Ioan Marius Bilasco
- Abstract要約: 本稿では,STDPで特徴を学習する前に,白化を前処理ステップとして用いることを提案する。
CIFAR-10の実験では、標準的なニューラルネットワークで学んだものに近い視覚的特徴をSTDPが学習できることが示されている。
また,ニューロモルフィックハードウェアに実装するのに適した,学習コストがより安価である,畳み込みカーネルとしての白化の近似も提案する。
- 参考スコア（独自算出の注目度）: 1.9981375888949475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, spiking neural networks (SNNs) emerge as an alternative to
deep neural networks (DNNs). SNNs present a higher computational efficiency
using low-power neuromorphic hardware and require less labeled data for
training using local and unsupervised learning rules such as spike
timing-dependent plasticity (STDP). SNN have proven their effectiveness in
image classification on simple datasets such as MNIST. However, to process
natural images, a pre-processing step is required. Difference-of-Gaussians
(DoG) filtering is typically used together with on-center/off-center coding,
but it results in a loss of information that is detrimental to the
classification performance. In this paper, we propose to use whitening as a
pre-processing step before learning features with STDP. Experiments on CIFAR-10
show that whitening allows STDP to learn visual features that are closer to the
ones learned with standard neural networks, with a significantly increased
classification performance as compared to DoG filtering. We also propose an
approximation of whitening as convolution kernels that is computationally
cheaper to learn and more suited to be implemented on neuromorphic hardware.
Experiments on CIFAR-10 show that it performs similarly to regular whitening.
Cross-dataset experiments on CIFAR-10 and STL-10 also show that it is fairly
stable across datasets, making it possible to learn a single whitening
transformation to process different datasets.
- Abstract（参考訳）: 近年、深層ニューラルネットワーク(DNN)の代替としてスパイクニューラルネットワーク(SNN)が出現している。
SNNは低消費電力のニューロモルフィックハードウェアを用いて高い計算効率を示し、スパイクタイミング依存可塑性(STDP)のような局所的および教師なし学習規則を用いてトレーニングするためにラベル付きデータが少ない。
SNNは、MNISTのような単純なデータセット上の画像分類において、その効果を証明している。
しかし,自然画像の処理には前処理が必要となる。
ガウス差分フィルタ(DoG)は、通常、オンセンタ/オフセンタ符号と共に使用されるが、分類性能に有害な情報の損失をもたらす。
本稿では,stdpで特徴を学習する前に,事前処理ステップとしてホワイトニングの利用を提案する。
CIFAR-10の実験では、標準的なニューラルネットワークで学んだものに近い視覚的特徴をSTDPが学習できることが示されており、DoGフィルタリングと比較して分類性能が大幅に向上している。
また,ニューロモルフィックなハードウェアに実装するのに適した,学習コストがより安価である,畳み込みカーネルとしての白化の近似も提案する。
CIFAR-10の実験では、通常の白化と同様の機能を示す。
CIFAR-10とSTL-10のクロスデータセット実験もまた、データセット間ではかなり安定していることを示し、異なるデータセットを処理するために単一のホワイトニング変換を学ぶことができる。
関連論文リスト
- NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。
ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。
報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
論文 参考訳（メタデータ） (2024-10-24T11:36:19Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z) - Implementing a foveal-pit inspired filter in a Spiking Convolutional
Neural Network: a preliminary study [0.0]
我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。
このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。
ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
論文 参考訳（メタデータ） (2021-05-29T15:28:30Z) - Examining and Mitigating Kernel Saturation in Convolutional Neural
Networks using Negative Images [0.8594140167290097]
CNNにおける畳み込みカーネル飽和の影響を解析する。
トレーニングデータセットに負の画像を追加することで、飽和を緩和し、分類精度を高めるための単純なデータ増強技術を提案する。
以上の結果から,CNNは畳み込みカーネル飽和の影響を受けやすく,トレーニングデータセットに負のイメージを補うことで,分類精度が統計的に顕著に向上する可能性が示唆された。
論文 参考訳（メタデータ） (2021-05-10T06:06:49Z) - Variational models for signal processing with Graph Neural Networks [3.5939555573102853]
本稿では,ニューラルネットワークを用いた点雲の信号処理について述べる。
本研究では,このようなグラフニューラルネットワークの変分モデルを用いて,教師なし学習のためのグラフ上の信号を処理する方法を検討する。
論文 参考訳（メタデータ） (2021-03-30T13:31:11Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳（メタデータ） (2020-07-07T11:27:43Z) - Gradient Centralization: A New Optimization Technique for Deep Neural
Networks [74.935141515523]
勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。
GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。
GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
論文 参考訳（メタデータ） (2020-04-03T10:25:00Z) - A Deep Unsupervised Feature Learning Spiking Neural Network with
Binarized Classification Layers for EMNIST Classification using SpykeFlow [0.0]
二成分アクティベーションを用いたスパイクタイミング依存塑性(STDP)の教師なし学習技術は、スパイク入力データから特徴を抽出するために用いられる。
バランスの取れたEMNISTデータセットに対するアキュラシーは、他のアプローチと好意的に比較した。
論文 参考訳（メタデータ） (2020-02-26T23:47:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。