論文の概要: Few-shot Continual Learning: a Brain-inspired Approach

• arxiv url: http://arxiv.org/abs/2104.09034v1
• Date: Mon, 19 Apr 2021 03:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 13:43:03.995277
• Title: Few-shot Continual Learning: a Brain-inspired Approach
• Title（参考訳）: 単発連続学習:脳にインスパイアされたアプローチ
• Authors: Liyuan Wang, Qian Li, Yi Zhong and Jun Zhu
• Abstract要約: 数ショット連続学習(FSCL)に関する最初の体系的研究を行い、ディープニューラルネットワークによる効果的なソリューションを提示します。 我々のソリューションは、タスクシーケンスの連続学習が必然的に少数の一般化を妨げるという観察に基づいている。 我々はロバストな脳システムからインスピレーションを得て,(1)メタ可塑性と高速/遅いシナプスの生物学的モデルに触発された,連続学習と少数ショット学習のための2つの高速/遅い重みを相互に更新する手法を開発し,(2)タスクシーケンスを忘れることなく学習するために,脳にインスパイアされた2段階統合戦略を適用した。
• 参考スコア（独自算出の注目度）: 34.306678703379944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is an important yet challenging setting to continually learn new tasks from a few examples. Although numerous efforts have been devoted to either continual learning or few-shot learning, little work has considered this new setting of few-shot continual learning (FSCL), which needs to minimize the catastrophic forgetting to the old tasks and gradually improve the ability of few-shot generalization. In this paper, we provide a first systematic study on FSCL and present an effective solution with deep neural networks. Our solution is based on the observation that continual learning of a task sequence inevitably interferes few-shot generalization, which makes it highly nontrivial to extend few-shot learning strategies to continual learning scenarios. We draw inspirations from the robust brain system and develop a method that (1) interdependently updates a pair of fast / slow weights for continual learning and few-shot learning to disentangle their divergent objectives, inspired by the biological model of meta-plasticity and fast / slow synapse; and (2) applies a brain-inspired two-step consolidation strategy to learn a task sequence without forgetting in the fast weights while improve generalization without overfitting in the slow weights. Extensive results on various benchmarks show that our method achieves a better performance than joint training of all the tasks ever seen. The ability of few-shot generalization is also substantially improved from incoming tasks and examples.
• Abstract（参考訳）: いくつか例から新しいタスクを継続的に学ぶことは、重要な一方で難しい設定です。 連発学習や連発学習に多くの努力が注がれているが、この新たな連発学習(FSCL)は、過去のタスクに対する破滅的な忘れを最小化し、連発一般化の能力を徐々に向上させる必要があると考える研究はほとんどない。 本稿では,fsclに関する最初の体系的研究を行い,ディープニューラルネットワークを用いた効果的な解法を提案する。 私たちのソリューションは、タスクシーケンスの継続的な学習が必然的に少数ショットの一般化を妨げるという観察に基づいています。 本研究はロバストな脳システムから着想を得て,(1)メタ可塑性と高速/遅いシナプスの生物学的モデルに触発された,連続学習と少数ショット学習のための2対の高速/遅い重みを相互に更新し,(2)速い重みを忘れることなくタスクシーケンスを学習するために脳にインスパイアされた2段階の統合戦略を適用し,遅い重みを満たさずに一般化を改善する手法を開発した。 様々なベンチマークの結果から,本手法は今までに見てきた全てのタスクの協調訓練よりも優れた性能を発揮することが示された。 少数ショットの一般化の能力も、入ってくるタスクや例から大幅に改善されている。

関連論文リスト

• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Continual Few-Shot Learning with Adversarial Class Storage [44.04528506999142]
  本稿では,連続的メタラーナー(CML)を提案する。 CMLは、メトリックベースの分類とメモリベースのメカニズムと、逆学習をメタ学習フレームワークに統合する。 実験結果から,CMLは破滅的な忘れを伴わずに,数発の学習タスクで最先端のパフォーマンスを実現することがわかった。
  論文  参考訳（メタデータ） (2022-07-10T03:40:38Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• CoMPS: Continual Meta Policy Search [113.33157585319906]
  逐次マルチタスク学習における課題に対処する新しいメタ学習法を開発した。 CoMPSは、いくつかの課題のある連続制御タスクにおいて、事前の継続的な学習や外部のメタ強化手法よりも優れていることが判明した。
  論文  参考訳（メタデータ） (2021-12-08T18:53:08Z)
• Towards More Generalizable One-shot Visual Imitation Learning [81.09074706236858]
  汎用ロボットは、幅広いタスクを習得し、過去の経験を生かして、新しいタスクを素早く学ぶことができるべきである。 ワンショット模倣学習(OSIL)は、専門家のデモンストレーションでエージェントを訓練することで、この目標にアプローチする。 我々は、より野心的なマルチタスク設定を調査することで、より高度な一般化能力を追求する。
  論文  参考訳（メタデータ） (2021-10-26T05:49:46Z)
• AFEC: Active Forgetting of Negative Transfer in Continual Learning [37.03139674884091]
  生物学的ニューラルネットワークは、新しい経験の学習と矛盾する古い知識を積極的に忘れることができることを示す。 生物の能動的忘れをきっかけに,新たな課題の学習を制限し,継続的な学習に役立てる古い知識を積極的に忘れることを提案する。
  論文  参考訳（メタデータ） (2021-10-23T10:03:19Z)
• Lifelong Learning of Few-shot Learners across NLP Tasks [45.273018249235705]
  私たちは、さまざまなNLPタスクのシーケンスを通じて、生涯学習の難しさを研究します。 アダプタウェイトの生成をいくつかの例から学ぶ,継続的なメタラーニングアプローチを提案する。 私たちのアプローチは、トレーニングタスクよりもモデルのパフォーマンスを維持し、将来のタスクが学習されるとポジティブな知識伝達につながります。
  論文  参考訳（メタデータ） (2021-04-18T10:41:56Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。