論文の概要: Optimizing Reusable Knowledge for Continual Learning via Metalearning
- arxiv url: http://arxiv.org/abs/2106.05390v1
- Date: Wed, 9 Jun 2021 21:09:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-12 23:36:45.314165
- Title: Optimizing Reusable Knowledge for Continual Learning via Metalearning
- Title（参考訳）: メタラーニングによる継続学習のための再利用可能な知識の最適化
- Authors: Julio Hurtado, Alain Raymond-Saez and Alvaro Soto
- Abstract要約: 時間の経過とともにタスクを学習するとき、人工知能は破滅的予測(CF)と呼ばれる問題に悩まされる。
これは、新しいタスクのトレーニング中にネットワークの重みが上書きされ、古い情報を忘れてしまう場合に発生する。
我々は,新しいタスクを学習する際の上書きではなく,ウェイト・リユースビリティを向上させる新しい手法であるMetA Reusable Knowledge(MARK)を提案する。
- 参考スコア（独自算出の注目度）: 3.79369901670377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When learning tasks over time, artificial neural networks suffer from a
problem known as Catastrophic Forgetting (CF). This happens when the weights of
a network are overwritten during the training of a new task causing forgetting
of old information. To address this issue, we propose MetA Reusable Knowledge
or MARK, a new method that fosters weight reusability instead of overwriting
when learning a new task. Specifically, MARK keeps a set of shared weights
among tasks. We envision these shared weights as a common Knowledge Base (KB)
that is not only used to learn new tasks, but also enriched with new knowledge
as the model learns new tasks. Key components behind MARK are two-fold. On the
one hand, a metalearning approach provides the key mechanism to incrementally
enrich the KB with new knowledge and to foster weight reusability among tasks.
On the other hand, a set of trainable masks provides the key mechanism to
selectively choose from the KB relevant weights to solve each task. By using
MARK, we achieve state of the art results in several popular benchmarks,
surpassing the best performing methods in terms of average accuracy by over 10%
on the 20-Split-MiniImageNet dataset, while achieving almost zero forgetfulness
using 55% of the number of parameters. Furthermore, an ablation study provides
evidence that, indeed, MARK is learning reusable knowledge that is selectively
used by each task.
- Abstract（参考訳）: 時間の経過とともにタスクを学習する際、人工知能ニューラルネットワークは、Catastrophic Forgetting (CF)と呼ばれる問題に悩まされる。
これは、古い情報を忘れた新しいタスクのトレーニング中にネットワークの重みが上書きされたときに発生する。
この問題に対処するために,新しいタスクを学習する際にオーバーライトする代わりに,重み付け再利用性を促進する新しい手法であるmeta reusable knowledge or markを提案する。
具体的には、MARKはタスク間の共有重みのセットを保持する。
これらの共有重みは、新しいタスクを学ぶために使われるだけでなく、モデルが新しいタスクを学ぶときに新しい知識に富む共通知識ベース(KB)として考えます。
MARKの主要なコンポーネントは2つだ。
一方、メタラーニングアプローチは、KBを新たな知識で漸進的に強化し、タスク間の重み付け可能性を高めるための重要なメカニズムを提供する。
一方、訓練可能なマスクのセットは、各タスクを解決するためにkbに関連する重みの中から選択するキーメカニズムを提供する。
markを用いて,20スプライト・ミニイメージネットデータセットにおいて,平均精度で最高性能の手法を10%以上上回り,パラメータ数の55%でほぼゼロの忘れやすさを達成している。
さらに、アブレーション研究は、markが各タスクで選択的に使用される再利用可能な知識を学習している証拠を与える。
関連論文リスト
- KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。
KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。
新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。
その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
論文 参考訳（メタデータ） (2024-08-09T17:44:45Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳（メタデータ） (2023-06-18T05:26:49Z) - Neural Weight Search for Scalable Task Incremental Learning [6.413209417643468]
タスクインクリメンタル学習は,新たなタスクを学習しながら,それまでの学習したタスクのパフォーマンスを維持することを目的として,破滅的な忘れを解消する。
有望なアプローチの1つは、将来のタスクのために個々のネットワークやサブネットワークを構築することである。
これにより、新しいタスクに対する余分な負担を省き、この問題に対処する方法がタスクインクリメンタルな学習においてオープンな問題として残されているため、メモリの増大が続く。
論文 参考訳（メタデータ） (2022-11-24T23:30:23Z) - Effects of Auxiliary Knowledge on Continual Learning [16.84113206569365]
連続学習(CL)では、ニューラルネットワークは、時間とともに分布が変化するデータのストリームに基づいて訓練される。
既存のCLアプローチのほとんどは、獲得した知識を保存するソリューションを見つけることに重点を置いている。
モデルが新しいタスクを継続的に学習する必要があるため、タスク学習の後に改善する可能性のある現在の知識に焦点を合わせることも重要である、と我々は主張する。
論文 参考訳（メタデータ） (2022-06-03T14:31:59Z) - Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。
抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
論文 参考訳（メタデータ） (2021-09-10T07:20:43Z) - Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。
タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。
私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
論文 参考訳（メタデータ） (2021-03-30T18:11:30Z) - KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning [49.77278179376902]
Deep Neural Networks (DNN)は、新しいタスクを学ぶときの以前のタスクに関する知識を忘れることができ、これはtextitcatastrophic forgettingとして知られている。
最近の連続学習手法は、玩具サイズのデータセットにおける破滅的な問題を緩和することができる。
我々は,各タスクに対して,カーネルワイドなハイブリッドな2値マスクと実値のソフトマスクを学習する,textit- Kernel-wise Soft Mask (KSM) と呼ばれる新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2020-09-11T21:48:39Z) - iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。
ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
論文 参考訳（メタデータ） (2020-03-25T21:42:48Z) - Automated Relational Meta-learning [95.02216511235191]
本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。
我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-01-03T07:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。