論文の概要: Continual Learning with Echo State Networks

• arxiv url: http://arxiv.org/abs/2105.07674v1
• Date: Mon, 17 May 2021 08:49:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 15:04:39.947765
• Title: Continual Learning with Echo State Networks
• Title（参考訳）: Echo状態ネットワークによる連続学習
• Authors: Andrea Cossu, Davide Bacciu, Antonio Carta, Claudio Gallicchio, Vincenzo Lomonaco
• Abstract要約: 継続的学習(CL)とは、データが静止せず、モデルは既存の知識を忘れることなく学ぶ必要がある学習セットアップを指します。 本研究では、リカレントコンポーネントが固定されているEcho State Networks(ESN)のコンテキストでCLを導入する。 我々は,esnにおける壊滅的欠落に関する最初の評価を行い,訓練されたリカレントモデルには適用できないcl戦略の使用の利点を強調する。
• 参考スコア（独自算出の注目度）: 14.467191526351398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning (CL) refers to a learning setup where data is non stationary and the model has to learn without forgetting existing knowledge. The study of CL for sequential patterns revolves around trained recurrent networks. In this work, instead, we introduce CL in the context of Echo State Networks (ESNs), where the recurrent component is kept fixed. We provide the first evaluation of catastrophic forgetting in ESNs and we highlight the benefits in using CL strategies which are not applicable to trained recurrent models. Our results confirm the ESN as a promising model for CL and open to its use in streaming scenarios.
• Abstract（参考訳）: 継続学習(CL)とは、データが定常ではなく、モデルは既存の知識を忘れずに学習しなければならない学習環境を指す。 逐次パターンのCLの研究は、トレーニングされたリカレントネットワークを中心に展開される。 そこで本研究では,リカレント成分を固定したエコー状態ネットワーク(esns)の文脈でclを導入する。 我々は,esnにおける壊滅的欠落に関する最初の評価を行い,訓練されたリカレントモデルには適用できないcl戦略の使用の利点を強調する。 その結果,ESNはCLの有望なモデルとして確認され,ストリーミングシナリオでの使用が可能となった。

関連論文リスト

• Theory on Mixture-of-Experts in Continual Learning [72.42497633220547]
  継続学習(CL)は、時間とともに現れる新しいタスクに適応する能力のため、大きな注目を集めている。 モデルが新しいタスクに適応するにつれて、(古いタスクの)破滅的な忘れがCLの大きな問題として認識されるようになった。 MoEモデルは近年,ゲーティングネットワークを用いることで,CLの破滅的忘れを効果的に軽減することが示されている。
  論文  参考訳（メタデータ） (2024-06-24T08:29:58Z)
• Improving Plasticity in Online Continual Learning via Collaborative Learning [22.60291297308379]
  我々は、新しい知識(すなわち、モデル可塑性)を取得するモデルの能力は、オンラインCLにおけるもう一つの課題であると主張している。 我々は、新しい概念を習得する際のモデル能力を改善するために、協調学習に基づく戦略である協調継続学習(CCL)を提案する。
  論文  参考訳（メタデータ） (2023-12-01T14:06:28Z)
• Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
  計算コストに関して,現在の継続学習(CL)手法を評価した。 簡単なベースラインは、この評価の下で最先端のCL法より優れている。 これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
  論文  参考訳（メタデータ） (2023-02-02T12:21:10Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
  本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。 この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:51:52Z)
• The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
  連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。 本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。 単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
  論文  参考訳（メタデータ） (2022-01-17T09:09:09Z)
• Continual Learning for Recurrent Neural Networks: a Review and Empirical Evaluation [12.27992745065497]
  リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。 コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。 我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
  論文  参考訳（メタデータ） (2021-03-12T19:25:28Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Continual Learning with Gated Incremental Memories for sequential data processing [14.657656286730736]
  従来の知識を忘れずに動的で非定常的な環境で学習する能力、あるいは継続学習(CL)は、適応型ソリューションのスケーラブルで信頼性の高いデプロイを可能にする重要な手段である。 本研究では,従来の知識を忘れることなく,入力分布における概念ドリフトに対処できるCLのためのリカレントニューラルネットワーク(RNN)モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-08T16:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。