論文の概要: Optimizing Reusable Knowledge for Continual Learning via Metalearning
- arxiv url: http://arxiv.org/abs/2106.05390v1
- Date: Wed, 9 Jun 2021 21:09:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-12 23:36:45.314165
- Title: Optimizing Reusable Knowledge for Continual Learning via Metalearning
- Title（参考訳）: メタラーニングによる継続学習のための再利用可能な知識の最適化
- Authors: Julio Hurtado, Alain Raymond-Saez and Alvaro Soto
- Abstract要約: 時間の経過とともにタスクを学習するとき、人工知能は破滅的予測(CF)と呼ばれる問題に悩まされる。
これは、新しいタスクのトレーニング中にネットワークの重みが上書きされ、古い情報を忘れてしまう場合に発生する。
我々は,新しいタスクを学習する際の上書きではなく,ウェイト・リユースビリティを向上させる新しい手法であるMetA Reusable Knowledge(MARK)を提案する。
- 参考スコア（独自算出の注目度）: 3.79369901670377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When learning tasks over time, artificial neural networks suffer from a
problem known as Catastrophic Forgetting (CF). This happens when the weights of
a network are overwritten during the training of a new task causing forgetting
of old information. To address this issue, we propose MetA Reusable Knowledge
or MARK, a new method that fosters weight reusability instead of overwriting
when learning a new task. Specifically, MARK keeps a set of shared weights
among tasks. We envision these shared weights as a common Knowledge Base (KB)
that is not only used to learn new tasks, but also enriched with new knowledge
as the model learns new tasks. Key components behind MARK are two-fold. On the
one hand, a metalearning approach provides the key mechanism to incrementally
enrich the KB with new knowledge and to foster weight reusability among tasks.
On the other hand, a set of trainable masks provides the key mechanism to
selectively choose from the KB relevant weights to solve each task. By using
MARK, we achieve state of the art results in several popular benchmarks,
surpassing the best performing methods in terms of average accuracy by over 10%
on the 20-Split-MiniImageNet dataset, while achieving almost zero forgetfulness
using 55% of the number of parameters. Furthermore, an ablation study provides
evidence that, indeed, MARK is learning reusable knowledge that is selectively
used by each task.
- Abstract（参考訳）: 時間の経過とともにタスクを学習する際、人工知能ニューラルネットワークは、Catastrophic Forgetting (CF)と呼ばれる問題に悩まされる。
これは、古い情報を忘れた新しいタスクのトレーニング中にネットワークの重みが上書きされたときに発生する。
この問題に対処するために,新しいタスクを学習する際にオーバーライトする代わりに,重み付け再利用性を促進する新しい手法であるmeta reusable knowledge or markを提案する。
具体的には、MARKはタスク間の共有重みのセットを保持する。
これらの共有重みは、新しいタスクを学ぶために使われるだけでなく、モデルが新しいタスクを学ぶときに新しい知識に富む共通知識ベース(KB)として考えます。
MARKの主要なコンポーネントは2つだ。
一方、メタラーニングアプローチは、KBを新たな知識で漸進的に強化し、タスク間の重み付け可能性を高めるための重要なメカニズムを提供する。
一方、訓練可能なマスクのセットは、各タスクを解決するためにkbに関連する重みの中から選択するキーメカニズムを提供する。
markを用いて,20スプライト・ミニイメージネットデータセットにおいて,平均精度で最高性能の手法を10%以上上回り,パラメータ数の55%でほぼゼロの忘れやすさを達成している。
さらに、アブレーション研究は、markが各タスクで選択的に使用される再利用可能な知識を学習している証拠を与える。
関連論文リスト
- TaSL: Task Skill Localization and Consolidation for Language Model Continual Learning [41.28933724210434]
言語モデル継続学習(CL)は、大規模な言語モデル(LLM)を、リトレーニングなしで動的現実のシナリオに適応できる能力に対して、近年大きな関心を集めている。
既存のアプローチでは、複数のパラメータ効率の細かい調整(PEFT)ブロックを使用してタスク固有の知識を取得するが、これらの手法は非効率であり、タスク間の潜在的な知識伝達を利用できない。
本稿では,タスクスキルのローカライゼーションと統合(TaSL)という,言語モデルのための新しいCLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-09T17:44:45Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳（メタデータ） (2023-06-18T05:26:49Z) - Neural Weight Search for Scalable Task Incremental Learning [6.413209417643468]
タスクインクリメンタル学習は,新たなタスクを学習しながら,それまでの学習したタスクのパフォーマンスを維持することを目的として,破滅的な忘れを解消する。
有望なアプローチの1つは、将来のタスクのために個々のネットワークやサブネットワークを構築することである。
これにより、新しいタスクに対する余分な負担を省き、この問題に対処する方法がタスクインクリメンタルな学習においてオープンな問題として残されているため、メモリの増大が続く。
論文 参考訳（メタデータ） (2022-11-24T23:30:23Z) - Effects of Auxiliary Knowledge on Continual Learning [16.84113206569365]
連続学習(CL)では、ニューラルネットワークは、時間とともに分布が変化するデータのストリームに基づいて訓練される。
既存のCLアプローチのほとんどは、獲得した知識を保存するソリューションを見つけることに重点を置いている。
モデルが新しいタスクを継続的に学習する必要があるため、タスク学習の後に改善する可能性のある現在の知識に焦点を合わせることも重要である、と我々は主張する。
論文 参考訳（メタデータ） (2022-06-03T14:31:59Z) - Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。
抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
論文 参考訳（メタデータ） (2021-09-10T07:20:43Z) - Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。
タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。
私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
論文 参考訳（メタデータ） (2021-03-30T18:11:30Z) - KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning [49.77278179376902]
Deep Neural Networks (DNN)は、新しいタスクを学ぶときの以前のタスクに関する知識を忘れることができ、これはtextitcatastrophic forgettingとして知られている。
最近の連続学習手法は、玩具サイズのデータセットにおける破滅的な問題を緩和することができる。
我々は,各タスクに対して,カーネルワイドなハイブリッドな2値マスクと実値のソフトマスクを学習する,textit- Kernel-wise Soft Mask (KSM) と呼ばれる新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2020-09-11T21:48:39Z) - iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。
ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
論文 参考訳（メタデータ） (2020-03-25T21:42:48Z) - Automated Relational Meta-learning [95.02216511235191]
本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。
我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-01-03T07:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。