論文の概要: Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps

• arxiv url: http://arxiv.org/abs/2402.12465v1
• Date: Mon, 19 Feb 2024 19:11:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 18:38:52.394116
• Title: Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps
• Title（参考訳）: 連続的自己組織化マップを用いたニューロミメティックタスクフリー教師なしオンライン学習
• Authors: Hitesh Vaidya, Travis Desell, Ankur Mali, Alexander Ororbia
• Abstract要約: 自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
• 参考スコア（独自算出の注目度）: 56.827895559823126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An intelligent system capable of continual learning is one that can process and extract knowledge from potentially infinitely long streams of pattern vectors. The major challenge that makes crafting such a system difficult is known as catastrophic forgetting - an agent, such as one based on artificial neural networks (ANNs), struggles to retain previously acquired knowledge when learning from new samples. Furthermore, ensuring that knowledge is preserved for previous tasks becomes more challenging when input is not supplemented with task boundary information. Although forgetting in the context of ANNs has been studied extensively, there still exists far less work investigating it in terms of unsupervised architectures such as the venerable self-organizing map (SOM), a neural model often used in clustering and dimensionality reduction. While the internal mechanisms of SOMs could, in principle, yield sparse representations that improve memory retention, we observe that, when a fixed-size SOM processes continuous data streams, it experiences concept drift. In light of this, we propose a generalization of the SOM, the continual SOM (CSOM), which is capable of online unsupervised learning under a low memory budget. Our results, on benchmarks including MNIST, Kuzushiji-MNIST, and Fashion-MNIST, show almost a two times increase in accuracy, and CIFAR-10 demonstrates a state-of-the-art result when tested on (online) unsupervised class incremental learning setting.
• Abstract（参考訳）: 連続学習が可能な知的システムは、潜在的に無限に長いパターンベクトルの流れから知識を処理し抽出することができる。 人工知能ニューラルネットワーク(ANN)に基づくエージェントのようなエージェントは、新しいサンプルから学ぶ際に獲得した知識を維持するのに苦労している。 さらに,タスク境界情報に入力が補足されない場合には,従来のタスクに対する知識の保存が困難になる。 ANNの文脈を忘れることは広く研究されているが、クラスタリングや次元減少によく使用される神経モデルであるSOM(en:Venerable Self-organizing Map)のような教師なしアーキテクチャの観点で調べる作業は、まだはるかに少ない。 SOMの内部メカニズムは、原則として、メモリ保持を改善するスパース表現を生成できるが、固定サイズのSOMが連続データストリームを処理すると、コンセプトドリフトが発生する。 そこで我々は,低メモリ予算下でのオンライン教師なし学習が可能なSOM(Continuous SOM, CSOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNIST などのベンチマークでは精度がほぼ2倍向上し, CIFAR-10 では教師なしクラスインクリメンタル・ラーニング・セッティングでテストした結果が得られた。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt [80.43623986759691]
  UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。 このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。 我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
  論文  参考訳（メタデータ） (2024-01-02T03:37:11Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Dendritic Self-Organizing Maps for Continual Learning [0.0]
  我々は、DendSOM(Dendritic-Self-Organizing Map)と呼ばれる生物学的ニューロンにインスパイアされた新しいアルゴリズムを提案する。 DendSOMは、入力空間の特定の領域からパターンを抽出する単一のSOMからなる。 ベンチマークデータセットでは、古典的なSOMやいくつかの最先端の継続的学習アルゴリズムよりも優れています。
  論文  参考訳（メタデータ） (2021-10-18T14:47:19Z)
• Fast & Slow Learning: Incorporating Synthetic Gradients in Neural Memory Controllers [41.59845953349713]
  我々は,NMNコントローラの学習プロセスを分離し,新しい情報が存在する場合に柔軟で迅速な適応を実現することを提案する。 この特徴は、メモリコントローラがターゲットドメインの抽象概念を素早く把握し、記憶された知識を適応しなければならないメタ学習タスクにおいて非常に有益である。
  論文  参考訳（メタデータ） (2020-11-10T22:44:27Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)
• Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
  ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。 脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。 このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-03-06T11:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。