論文の概要: Continual Learning for Recurrent Neural Networks: a Review and Empirical Evaluation

• arxiv url: http://arxiv.org/abs/2103.07492v1
• Date: Fri, 12 Mar 2021 19:25:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 14:29:19.084341
• Title: Continual Learning for Recurrent Neural Networks: a Review and Empirical Evaluation
• Title（参考訳）: リカレントニューラルネットワークのための連続学習:レビューと経験的評価
• Authors: Andrea Cossu, Antonio Carta, Vincenzo Lomonaco, Davide Bacciu
• Abstract要約: リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。 コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。 我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
• 参考スコア（独自算出の注目度）: 12.27992745065497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning continuously during all model lifetime is fundamental to deploy machine learning solutions robust to drifts in the data distribution. Advances in Continual Learning (CL) with recurrent neural networks could pave the way to a large number of applications where incoming data is non stationary, like natural language processing and robotics. However, the existing body of work on the topic is still fragmented, with approaches which are application-specific and whose assessment is based on heterogeneous learning protocols and datasets. In this paper, we organize the literature on CL for sequential data processing by providing a categorization of the contributions and a review of the benchmarks. We propose two new benchmarks for CL with sequential data based on existing datasets, whose characteristics resemble real-world applications. We also provide a broad empirical evaluation of CL and Recurrent Neural Networks in class-incremental scenario, by testing their ability to mitigate forgetting with a number of different strategies which are not specific to sequential data processing. Our results highlight the key role played by the sequence length and the importance of a clear specification of the CL scenario.
• Abstract（参考訳）: すべてのモデルのライフタイムで継続的に学習することは、データ分散のドリフトにロバストな機械学習ソリューションをデプロイする上で基本です。 繰り返しニューラルネットワークによる継続学習(CL)の進歩は、自然言語処理やロボティクスなど、入力データが定常的でない多くのアプリケーションへの道を開く可能性がある。 しかしながら、このトピックに関する既存の作業は、アプリケーション固有のアプローチと、異種学習プロトコルとデータセットに基づいた評価によって、いまだに断片化されている。 本稿では、コントリビューションの分類とベンチマークのレビューを提供することにより、逐次データ処理のためのCLに関する文献を整理する。 我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。 また,クラスインクリメンタルシナリオにおけるclとリカレントニューラルネットワークの広範な経験的評価を行い,シーケンシャルなデータ処理に特化していない多くの異なる戦略で忘れを緩和する能力をテストする。 本結果は,シーケンス長が果たす重要な役割と,CLシナリオの明確な仕様の重要性を強調した。

関連論文リスト

• On the Cross-Dataset Generalization of Machine Learning for Network Intrusion Detection [50.38534263407915]
  ネットワーク侵入検知システム(NIDS)はサイバーセキュリティの基本的なツールである。 多様なネットワークにまたがる一般化能力は、その有効性と現実のアプリケーションにとって必須の要素である。 本研究では,機械学習に基づくNIDSの一般化に関する包括的分析を行う。
  論文  参考訳（メタデータ） (2024-02-15T14:39:58Z)
• From MNIST to ImageNet and Back: Benchmarking Continual Curriculum Learning [9.104068727716294]
  継続学習(CL)は、機械学習研究で最も有望なトレンドの1つである。 6つの画像データセットから複数の異種タスクを含む2つの新しいCLベンチマークを導入する。 さらに、タスクが複雑化と減少の順序で表されるように、ベンチマークを構造化します。
  論文  参考訳（メタデータ） (2023-03-16T18:11:19Z)
• Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
  計算コストに関して,現在の継続学習(CL)手法を評価した。 簡単なベースラインは、この評価の下で最先端のCL法より優れている。 これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
  論文  参考訳（メタデータ） (2023-02-02T12:21:10Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
  連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。 本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。 単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
  論文  参考訳（メタデータ） (2022-01-17T09:09:09Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Few-Shot Unsupervised Continual Learning through Meta-Examples [21.954394608030388]
  教師なしメタコンチネンタル学習とタスクのバランスが取れない新しい複雑な設定を導入する。 我々は、破滅的な忘れを同時に軽減し、新しいタスクへの一般化を優先するメタラーニング手法を利用する。 数ショットの学習ベンチマークによる実験結果から, 教師付きケースと比較して, 競争性能が向上した。
  論文  参考訳（メタデータ） (2020-09-17T07:02:07Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Continual Learning with Gated Incremental Memories for sequential data processing [14.657656286730736]
  従来の知識を忘れずに動的で非定常的な環境で学習する能力、あるいは継続学習(CL)は、適応型ソリューションのスケーラブルで信頼性の高いデプロイを可能にする重要な手段である。 本研究では,従来の知識を忘れることなく,入力分布における概念ドリフトに対処できるCLのためのリカレントニューラルネットワーク(RNN)モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-08T16:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。