論文の概要: Dendritic Self-Organizing Maps for Continual Learning

• arxiv url: http://arxiv.org/abs/2110.13611v1
• Date: Mon, 18 Oct 2021 14:47:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 07:38:30.624003
• Title: Dendritic Self-Organizing Maps for Continual Learning
• Title（参考訳）: 連続学習のための樹状自己組織化マップ
• Authors: Kosmas Pinitas, Spyridon Chavlis, Panayiota Poirazi
• Abstract要約: 我々は、DendSOM(Dendritic-Self-Organizing Map)と呼ばれる生物学的ニューロンにインスパイアされた新しいアルゴリズムを提案する。 DendSOMは、入力空間の特定の領域からパターンを抽出する単一のSOMからなる。 ベンチマークデータセットでは、古典的なSOMやいくつかの最先端の継続的学習アルゴリズムよりも優れています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current deep learning architectures show remarkable performance when trained in large-scale, controlled datasets. However, the predictive ability of these architectures significantly decreases when learning new classes incrementally. This is due to their inclination to forget the knowledge acquired from previously seen data, a phenomenon termed catastrophic-forgetting. On the other hand, Self-Organizing Maps (SOMs) can model the input space utilizing constrained k-means and thus maintain past knowledge. Here, we propose a novel algorithm inspired by biological neurons, termed Dendritic-Self-Organizing Map (DendSOM). DendSOM consists of a single layer of SOMs, which extract patterns from specific regions of the input space accompanied by a set of hit matrices, one per SOM, which estimate the association between units and labels. The best-matching unit of an input pattern is selected using the maximum cosine similarity rule, while the point-wise mutual information is employed for class inference. DendSOM performs unsupervised feature extraction as it does not use labels for targeted updating of the weights. It outperforms classical SOMs and several state-of-the-art continual learning algorithms on benchmark datasets, such as the Split-MNIST and Split-CIFAR-10. We propose that the incorporation of neuronal properties in SOMs may help remedy catastrophic forgetting.
• Abstract（参考訳）: 現在のディープラーニングアーキテクチャは、大規模で制御されたデータセットでトレーニングすると驚くべきパフォーマンスを示す。 しかし、新しいクラスを段階的に学ぶと、これらのアーキテクチャの予測能力は大幅に低下する。 これは、以前に見られたデータから得られた知識を忘れる傾向があるためである。 一方、自己組織化マップ(SOM)は制約付きk-平均を用いて入力空間をモデル化し、過去の知識を維持することができる。 本稿では,生物ニューロンにヒントを得たDendSOM(DendSOM)と呼ばれる新しいアルゴリズムを提案する。 DendSOMは、入力空間の特定の領域からパターンを抽出し、一組のヒット行列、一組のSOMを伴い、単位とラベルの関係を推定する。 入力パターンのベストマッチングユニットは、最大コサイン類似性ルールを用いて選択され、ポイントワイズ相互情報がクラス推論に使用される。 DendSOMは、重みのターゲット更新にラベルを使用しないため、教師なしの特徴抽出を行う。 従来のSOMや、Split-MNISTやSplit-CIFAR-10のようなベンチマークデータセット上での最先端の連続学習アルゴリズムよりも優れている。 我々は,SOMsの神経特性の取り込みが破滅的忘れの予防に役立つことを示唆する。

関連論文リスト

• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Improvements to Supervised EM Learning of Shared Kernel Models by Feature Space Partitioning [0.0]
  本稿では、EMトレーニングアルゴリズムの導出における厳密さの欠如と、その手法の計算複雑性について述べる。 まず、ガウス共有カーネルモデル PRBF 分類器に対して、EM の詳細な導出を行う。 結果のSKEMアルゴリズムの複雑さを軽減するために、特徴空間を変数の非重複部分集合の$R$に分割する。
  論文  参考訳（メタデータ） (2022-05-31T09:18:58Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Learning Self-Expression Metrics for Scalable and Inductive Subspace Clustering [5.587290026368626]
  サブスペースクラスタリングは、高次元データをクラスタリングするための最先端のアプローチとして確立されている。 本研究では,シアムニューラルネットワークアーキテクチャを用いて,サブスペース親和性関数を学習するための新しい距離学習手法を提案する。 我々のモデルは、パラメータの一定数とメモリフットプリントの恩恵を受けており、かなり大きなデータセットにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-27T15:40:12Z)
• Improving Self-Organizing Maps with Unsupervised Feature Extraction [0.0]
  自己組織化マップ(SOM)は脳にインスパイアされた神経モデルであり、教師なし学習に非常に有望である。 本稿では,生データの代わりに抽出した特徴を用いてSOM性能を向上させることを提案する。 我々は,SOM分類を+6.09%改善し,教師なし画像分類における最先端性能を得る。
  論文  参考訳（メタデータ） (2020-09-04T13:19:24Z)
• Supervised Topological Maps [0.76146285961466]
  ニューラルネットワークの内部表現空間を制御することは、教師付き方法で新しいデータを生成することができるため、望ましい特徴である。 自己組織化マップ(SOM)から始まる一般化アルゴリズムを導出することにより、入力ストリームの低次元マッピングを構築しながら、これをどのように実現できるかを示す。
  論文  参考訳（メタデータ） (2020-08-14T14:30:16Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。