論文の概要: Continual Competitive Memory: A Neural System for Online Task-Free Lifelong Learning

• arxiv url: http://arxiv.org/abs/2106.13300v1
• Date: Thu, 24 Jun 2021 20:12:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-28 13:04:21.122312
• Title: Continual Competitive Memory: A Neural System for Online Task-Free Lifelong Learning
• Title（参考訳）: 連続的競争記憶:オンラインタスクフリー生涯学習のためのニューラルネットワーク
• Authors: Alexander G. Ororbia
• Abstract要約: 我々は,教師なし学習,連続競合記憶(CCM)の新たな形態を提案する。 結果として得られる神経系は、オンライン連続分類問題において破滅的な忘れと戦う効果的なアプローチを提供する。 提案したCCMシステムは,他の競合学習ニューラルモデルよりも優れるだけでなく,最新かつ最先端の学習アプローチと競合する性能が得られることを実証する。
• 参考スコア（独自算出の注目度）: 91.3755431537592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article, we propose a novel form of unsupervised learning, continual competitive memory (CCM), as well as a computational framework to unify related neural models that operate under the principles of competition. The resulting neural system is shown to offer an effective approach for combating catastrophic forgetting in online continual classification problems. We demonstrate that the proposed CCM system not only outperforms other competitive learning neural models but also yields performance that is competitive with several modern, state-of-the-art lifelong learning approaches on benchmarks such as Split MNIST and Split NotMNIST. CCM yields a promising path forward for acquiring representations that are robust to interference from data streams, especially when the task is unknown to the model and must be inferred without external guidance.
• Abstract（参考訳）: 本稿では,教師なし学習(continual competitive memory,ccm)の新たな形式を提案するとともに,競争原理の下で動作する関連するニューラルモデルを統合するための計算フレームワークを提案する。 結果として得られる神経系は、オンライン連続分類問題において破滅的な忘れと戦う効果的なアプローチを提供する。 提案したCCMシステムは,他の競合学習ニューラルモデルよりも優れているだけでなく,Split MNISTやSplit NotMNISTといったベンチマーク上での,最新かつ最先端の学習アプローチと競合する性能が得られることを示す。 CCMは、特にタスクがモデルに未知であり、外部のガイダンスなしで推論されなければならない場合、データストリームからの干渉に対して堅牢な表現を取得するための、有望な経路を前進させる。

関連論文リスト

• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
  我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。 本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-27T14:47:52Z)
• Composite FORCE learning of chaotic echo state networks for time-series prediction [7.650966670809372]
  本稿では,初期活動が自然にカオスなESNを学習するための複合Force学習法を提案する。 その結果,従来の手法に比べて学習性能と予測性能が著しく向上することが判明した。
  論文  参考訳（メタデータ） (2022-07-06T03:44:09Z)
• Mixture-of-Variational-Experts for Continual Learning [0.0]
  学習と忘れのトレードオフを促進する最適原理を提案する。 我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。 MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T06:32:06Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Nested Mixture of Experts: Cooperative and Competitive Learning of Hybrid Dynamical System [2.055949720959582]
  ハイブリッド力学系を表現・学習するためのNMOE(Nested Mixed Expert)を提案する。 NMOEは、バイアス分散トレードオフを最適化しながら、ホワイトボックスモデルとブラックボックスモデルを組み合わせる。 NMOEは、アソシエイトの専門家を協調的または競争的に訓練することにより、様々な種類の事前知識を統合するための構造化された方法を提供する。
  論文  参考訳（メタデータ） (2020-11-20T19:36:45Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。