論文の概要: Learning to Continually Learn Rapidly from Few and Noisy Data

• arxiv url: http://arxiv.org/abs/2103.04066v1
• Date: Sat, 6 Mar 2021 08:29:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 20:26:32.092964
• Title: Learning to Continually Learn Rapidly from Few and Noisy Data
• Title（参考訳）: あまりノイズのないデータから継続的に学習する学習
• Authors: Nicholas I-Hsien Kuo, Mehrtash Harandi, Nicolas Fourrier, Christian Walder, Gabriela Ferraro, and Hanna Suominen
• Abstract要約: 新しいタスクを学習しながら、外部に格納された古いデータを同時にトレーニングすることで、継続的な学習を実現することができる。 過去のタスクごとに学習率をテキスト学習するメタラーニングナを使用することで、ベース学習者は少ないメモリで強力な結果が得られることが分かりました。
• 参考スコア（独自算出の注目度）: 19.09933805011466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks suffer from catastrophic forgetting and are unable to sequentially learn new tasks without guaranteed stationarity in data distribution. Continual learning could be achieved via replay -- by concurrently training externally stored old data while learning a new task. However, replay becomes less effective when each past task is allocated with less memory. To overcome this difficulty, we supplemented replay mechanics with meta-learning for rapid knowledge acquisition. By employing a meta-learner, which \textit{learns a learning rate per parameter per past task}, we found that base learners produced strong results when less memory was available. Additionally, our approach inherited several meta-learning advantages for continual learning: it demonstrated strong robustness to continually learn under the presence of noises and yielded base learners to higher accuracy in less updates.
• Abstract（参考訳）: ニューラルネットワークは破滅的な忘れがちで、データ分散の定常性を保証することなく、シーケンシャルに新しいタスクを学習できない。 新しいタスクを学習しながら、外部に格納された古いデータを同時にトレーニングすることで、継続的な学習を実現することができる。 しかし、過去のタスクが少ないメモリで割り当てられると、リプレイは効果が低下する。 この難易度を克服するため、リプレイメカニクスをメタラーニングで補い、迅速な知識獲得を実現しました。 textit{learns a learning rate per parameter per past task} というメタリーナーを用いることで、ベース学習者がメモリ使用量が少なくなると強い結果が得られることが分かった。 さらに, 連続学習におけるメタラーニングの利点は, ノイズの存在下で継続的に学習し, より少ない更新で高い精度でベースラーニング者が得られるという強靭性を示した。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Continual Learning via Manifold Expansion Replay [36.27348867557826]
  破滅的な忘れは継続的な学習にとって大きな課題である。 我々はReplay Manifold Expansion (MaER)と呼ばれる新しいリプレイ戦略を提案する。 提案手法は,連続的な学習設定における精度を著しく向上し,芸術的状況よりも優れることを示す。
  論文  参考訳（メタデータ） (2023-10-12T05:09:27Z)
• Detachedly Learn a Classifier for Class-Incremental Learning [11.865788374587734]
  本稿では,バニラ体験リプレイ(ER)の失敗は,従来のタスクの不要な再学習と,現在のタスクと以前のタスクとを区別する能力の欠如が原因であることを示す。 本稿では,新しいリプレイ戦略・タスク認識体験リプレイを提案する。 実験の結果,本手法は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-23T01:35:44Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)
• Meta-Learning with Sparse Experience Replay for Lifelong Language Learning [26.296412053816233]
  本稿では,スパース体験を再現したメタラーニングに基づく言語タスクの生涯学習のための新しいアプローチを提案する。 本研究では,タスクのストリーム上で1回のパスを実行するという現実的な設定の下で,生涯のテキスト分類と関係抽出に関する最先端結果を得る。
  論文  参考訳（メタデータ） (2020-09-10T14:36:38Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes [0.0]
  連続的なアルゴリズムは、忘れずに学習経験のカリキュラムで知識を蓄積し、改善するように設計されている。 生成的再生は、過去の学習経験を記憶するための生成モデルで再現する。 連続学習には非常に有望な手法であることを示す。
  論文  参考訳（メタデータ） (2020-07-01T13:44:33Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)
• Using Hindsight to Anchor Past Knowledge in Continual Learning [36.271906785418864]
  連続学習では、学習者は時間とともに分布が変化するデータのストリームに直面します。 現代のニューラルネットワークは、以前に獲得した知識をすぐに忘れてしまうため、この設定で苦しむことが知られている。 ここでは、学習者が2段階最適化を使用して現在のタスクの知識を更新し、過去のタスクの予測をそのまま維持する。
  論文  参考訳（メタデータ） (2020-02-19T13:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。