論文の概要: CSNNs: Unsupervised, Backpropagation-free Convolutional Neural Networks for Representation Learning

• arxiv url: http://arxiv.org/abs/2001.10388v2
• Date: Wed, 29 Jan 2020 10:47:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 02:16:15.469148
• Title: CSNNs: Unsupervised, Backpropagation-free Convolutional Neural Networks for Representation Learning
• Title（参考訳）: CSNN: 表現学習のための教師なし、バックプロパゲーションなし畳み込みニューラルネットワーク
• Authors: Bonifaz Stuhr and J\"urgen Brauer
• Abstract要約: この作業は、畳み込みニューラルネットワーク(CNN)と、自己組織化マップ(SOM)とHebbian Learningによるクラスタリングを組み合わせて、畳み込み自己組織化ニューラルネットワーク(CSNN)の構築ブロックを提案する。 提案手法は,従来のCNNからの畳み込みレイヤの学習をSOMの競合的学習手順に置き換えるとともに,各レイヤ間の局所マスクをヘビアン様の学習規則で同時に学習することにより,クラスタリングによってフィルタが学習されるときの変動要因の解消を克服する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work combines Convolutional Neural Networks (CNNs), clustering via Self-Organizing Maps (SOMs) and Hebbian Learning to propose the building blocks of Convolutional Self-Organizing Neural Networks (CSNNs), which learn representations in an unsupervised and Backpropagation-free manner. Our approach replaces the learning of traditional convolutional layers from CNNs with the competitive learning procedure of SOMs and simultaneously learns local masks between those layers with separate Hebbian-like learning rules to overcome the problem of disentangling factors of variation when filters are learned through clustering. We investigate the learned representation by designing two simple models with our building blocks, achieving comparable performance to many methods which use Backpropagation, while we reach comparable performance on Cifar10 and give baseline performances on Cifar100, Tiny ImageNet and a small subset of ImageNet for Backpropagation-free methods.
• Abstract（参考訳）: この研究は畳み込みニューラルネットワーク(CNN)と、自己組織化マップ(SOM)とHebbian Learningによるクラスタリングを組み合わせて、教師なしかつバックプロパゲーションのない方法で表現を学習する畳み込み自己組織化ニューラルネットワーク(CSNN)の構築ブロックを提案する。 本手法は,cnnからの従来の畳み込み層の学習を,somの競争学習手順に置き換えると同時に,これらの層間の局所マスクを分離したヘビアン的な学習規則で学習し,フィルタがクラスタリングを通じて学習される際の変動要因の分離問題を克服する。 ビルディングブロックを用いて2つのシンプルなモデルを設計し、バックプロパゲーションを利用する多くのメソッドに匹敵する性能を実現し、Cifar100、Tiny ImageNet、およびバックプロパゲーションフリーなメソッドのためのImageNetの小さなサブセットでベースラインのパフォーマンスを得る。

関連論文リスト

• Defending Spiking Neural Networks against Adversarial Attacks through Image Purification [20.492531851480784]
  Spiking Neural Networks(SNN)は、神経科学と機械学習のギャップを埋めることを目的としている。 SNNは畳み込みニューラルネットワークのような敵の攻撃に弱い。 本稿では,SNNの堅牢性を高めるための生物学的にインスパイアされた手法を提案する。
  論文  参考訳（メタデータ） (2024-04-26T00:57:06Z)
• Spiking neural networks with Hebbian plasticity for unsupervised representation learning [0.0]
  教師なしの手順でデータから分散内部表現を学習するための新しいスパイクニューラルネットワークモデルを提案する。 オンライン相関に基づくHebbian-Bayesian学習と再配線機構を,前述した表現学習をスパイクニューラルネットワークに導入する。 我々は,非スパイクBCPNNに近い性能を示し,MNISTとF-MNISTの機械学習ベンチマークでトレーニングした場合,他のヘビーンのスパイクネットワークと競合することを示す。
  論文  参考訳（メタデータ） (2023-05-05T22:34:54Z)
• Learning with Multigraph Convolutional Filters [153.20329791008095]
  MSPモデルに基づいて情報を処理する階層構造として多グラフ畳み込みニューラルネットワーク(MGNN)を導入する。 また,MGNNにおけるフィルタ係数のトラクタブルな計算手法と,レイヤ間で転送される情報の次元性を低減するための低コストな手法を開発した。
  論文  参考訳（メタデータ） (2022-10-28T17:00:50Z)
• Deep Image Clustering with Contrastive Learning and Multi-scale Graph Convolutional Networks [58.868899595936476]
  コントラスト学習とマルチスケールグラフ畳み込みネットワーク(IcicleGCN)を用いた画像クラスタリング手法を提案する。 複数の画像データセットの実験は、最先端のIcicleGCNよりも優れたクラスタリング性能を示している。
  論文  参考訳（メタデータ） (2022-07-14T19:16:56Z)
• Self-Denoising Neural Networks for Few Shot Learning [66.38505903102373]
  既存のニューラルアーキテクチャの複数の段階でノイズを追加すると同時に、この付加ノイズに対して堅牢であるように学習する新しいトレーニングスキームを提案する。 このアーキテクチャは、SDNN(Self-Denoising Neural Network)と呼ばれ、現代の畳み込みニューラルネットワークに容易に適用できます。
  論文  参考訳（メタデータ） (2021-10-26T03:28:36Z)
• Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
  本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。 勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。 実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-31T11:47:47Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Convolutional Neural Networks for Multispectral Image Cloud Masking [7.812073412066698]
  畳み込みニューラルネットワーク(CNN)は多くの画像分類タスクの最先端技術であることが証明されている。 Proba-Vマルチスペクトル画像のクラウドマスキングにおける異なるCNNアーキテクチャの利用について検討する。
  論文  参考訳（メタデータ） (2020-12-09T21:33:20Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。