論文の概要: Meta-Consolidation for Continual Learning

• arxiv url: http://arxiv.org/abs/2010.00352v1
• Date: Thu, 1 Oct 2020 12:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 07:16:52.650518
• Title: Meta-Consolidation for Continual Learning
• Title（参考訳）: 連続学習のためのメタ統合
• Authors: K J Joseph and Vineeth N Balasubramanian
• Abstract要約: 本稿では,MERLIN: Meta-Consolidation for Continual Learningを提案する。 私たちは、データポイントをモデルで一度しか見ることができない、挑戦的なオンライン連続学習環境で活動しています。 MNIST, CIFAR-10, CIFAR-100, Mini-ImageNetデータセットの連続学習ベンチマークによる実験により, 5つのベースラインに対して一貫した改善が得られた。
• 参考スコア（独自算出の注目度）: 36.054541200030705
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The ability to continuously learn and adapt itself to new tasks, without losing grasp of already acquired knowledge is a hallmark of biological learning systems, which current deep learning systems fall short of. In this work, we present a novel methodology for continual learning called MERLIN: Meta-Consolidation for Continual Learning. We assume that weights of a neural network $\boldsymbol \psi$, for solving task $\boldsymbol t$, come from a meta-distribution $p(\boldsymbol{\psi|t})$. This meta-distribution is learned and consolidated incrementally. We operate in the challenging online continual learning setting, where a data point is seen by the model only once. Our experiments with continual learning benchmarks of MNIST, CIFAR-10, CIFAR-100 and Mini-ImageNet datasets show consistent improvement over five baselines, including a recent state-of-the-art, corroborating the promise of MERLIN.
• Abstract（参考訳）: 既に獲得した知識の把握を失うことなく、新しいタスクに継続的に学習し、適応する能力は、現在のディープラーニングシステムが不足している生物学的学習システムの目印である。 本稿では,MERLIN: Meta-Consolidation for Continual Learningという,継続的学習のための新しい方法論を提案する。 ニューラルネットワークの重み $\boldsymbol \psi$, for solve task $\boldsymbol t$, from a meta-distribution $p(\boldsymbol{\psi|t})$。 このメタ分布は漸進的に学習され、統合される。 私たちは、データポイントをモデルで一度だけ見る、挑戦的なオンライン連続学習環境で活動しています。 MNIST, CIFAR-10, CIFAR-100, Mini-ImageNetデータセットの連続学習ベンチマークによる実験により, MERLINの約束を裏付ける最新技術を含む5つのベースラインに一貫した改善が得られた。

関連論文リスト

• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• NISPA: Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Networks [6.205922305859479]
  NISPAアーキテクチャは、学習した知識を古いタスクから保存するために安定した経路を形成する。 NISPAは最先端の継続的学習ベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-06-18T04:56:49Z)
• Hypernetworks for Continual Semi-Supervised Learning [37.109190308781244]
  我々は,MCSSL(Continuous Semi-Supervised Learning)のためのメタ・コンソリデーション(Meta-Consolidation)と呼ばれる,半教師付き連続学習のためのフレームワークを提案する。 本フレームワークは,半教師付き補助分類器生成逆数ネットワーク$(textitSemi-ACGAN)$の重みをベースネットワークとして生成するメタ分布を学習するハイパーネットワークである。 我々は、textitSemi-Split CIFAR-10$データセットを変更することで得られる、継続半教師付き学習のための新しいベンチマークである、$textitSemi-Split CIFAR-10$を示す。
  論文  参考訳（メタデータ） (2021-10-05T07:42:38Z)
• Generalising via Meta-Examples for Continual Learning in the Wild [24.09600678738403]
  我々は「野生で学習する」ニューラルネットワークを扱うための新しい戦略を開発する MEML - Meta-Example Meta-Learning - 破滅的な忘れを同時に緩和する新しいモジュール。 様々な拡張タスクを作成し、最も難しいタスクを最適化する手法を採用して拡張する。
  論文  参考訳（メタデータ） (2021-01-28T15:51:54Z)
• Online Structured Meta-learning [137.48138166279313]
  現在のオンラインメタ学習アルゴリズムは、グローバルに共有されたメタラーナーを学ぶために限られている。 この制限を克服するオンライン構造化メタラーニング(OSML)フレームワークを提案する。 3つのデータセットの実験は、提案フレームワークの有効性と解釈可能性を示している。
  論文  参考訳（メタデータ） (2020-10-22T09:10:31Z)
• Meta-Learning in Neural Networks: A Survey [4.588028371034406]
  本調査では,現代メタラーニングの展望について述べる。 まずメタラーニングの定義について議論し、関連する分野について位置づける。 そこで我々はメタラーニング手法の空間をより包括的に分析する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2020-04-11T16:34:24Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)
• Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning [74.07455280246212]
  継続的な学習は、新しいタスクに適応しながら、以前のタスクを忘れずにタスクの流れから学ぶエージェントを研究する。 この新たなシナリオでは、現在の連続学習、メタ学習、メタ連続学習、および連続メタ学習技術が失敗することを示します。 本稿では,このシナリオの強力なベースラインとして,人気のあるMAMLアルゴリズムのオンライン拡張であるContinual-MAMLを提案する。
  論文  参考訳（メタデータ） (2020-03-12T15:47:16Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。