論文の概要: Rectification-based Knowledge Retention for Continual Learning

• arxiv url: http://arxiv.org/abs/2103.16597v1
• Date: Tue, 30 Mar 2021 18:11:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-01 14:38:09.110250
• Title: Rectification-based Knowledge Retention for Continual Learning
• Title（参考訳）: 連続学習のための整流化に基づく知識保持
• Authors: Pravendra Singh, Pratik Mazumder, Piyush Rai, Vinay P. Namboodiri
• Abstract要約: ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。 タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。 私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
• 参考スコア（独自算出の注目度）: 49.1447478254131
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models suffer from catastrophic forgetting when trained in an incremental learning setting. In this work, we propose a novel approach to address the task incremental learning problem, which involves training a model on new tasks that arrive in an incremental manner. The task incremental learning problem becomes even more challenging when the test set contains classes that are not part of the train set, i.e., a task incremental generalized zero-shot learning problem. Our approach can be used in both the zero-shot and non zero-shot task incremental learning settings. Our proposed method uses weight rectifications and affine transformations in order to adapt the model to different tasks that arrive sequentially. Specifically, we adapt the network weights to work for new tasks by "rectifying" the weights learned from the previous task. We learn these weight rectifications using very few parameters. We additionally learn affine transformations on the outputs generated by the network in order to better adapt them for the new task. We perform experiments on several datasets in both zero-shot and non zero-shot task incremental learning settings and empirically show that our approach achieves state-of-the-art results. Specifically, our approach outperforms the state-of-the-art non zero-shot task incremental learning method by over 5% on the CIFAR-100 dataset. Our approach also significantly outperforms the state-of-the-art task incremental generalized zero-shot learning method by absolute margins of 6.91% and 6.33% for the AWA1 and CUB datasets, respectively. We validate our approach using various ablation studies.
• Abstract（参考訳）: ディープラーニングモデルは、漸進的な学習環境で訓練された場合、破滅的な忘れに苦しむ。 そこで本研究では,新しいタスクをインクリメンタルに学習するための新しい手法を提案する。 タスクインクリメンタル学習問題は、テストセットが列車セットの一部ではないクラス、すなわちタスクインクリメンタルに一般化されたゼロショット学習問題を含む場合、さらに困難になる。 我々の手法は、ゼロショットと非ゼロショットタスクインクリメンタルな学習設定の両方で利用できる。 提案手法では, 重み補正とアフィン変換を用いて, モデルが順次現れる異なるタスクに適応する。 具体的には,前回のタスクから学習した重みを「再現」することで,ネットワーク重みを新しいタスクに適応させる。 非常に少ないパラメータでこれらの重み補正を学習する。 さらに,新たなタスクに適応するために,ネットワークが生成する出力に対するアフィン変換も学習する。 ゼロショットタスクと非ゼロショットタスクのインクリメンタル学習設定の両方で、複数のデータセットで実験を行い、我々のアプローチが最先端の結果を達成することを実証的に示す。 具体的には、CIFAR-100データセットにおいて、最先端の非ゼロショットタスクインクリメンタル学習法を5%以上上回ります。 また,AWA1データセットとCUBデータセットの絶対マージンが6.91%,CUBデータセットが6.33%と,最先端タスクの増分型ゼロショット学習法よりも有意に優れていた。 我々は様々なアブレーション研究を用いてアプローチを検証する。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Clustering-based Domain-Incremental Learning [4.835091081509403]
  連続学習における鍵となる課題は、いわゆる「破滅的な忘れ問題」である。 動的に更新されたサンプルや勾配の有限プールに対するオンラインクラスタリングに基づくアプローチを提案する。 提案手法の有効性と将来性を示す。
  論文  参考訳（メタデータ） (2023-09-21T13:49:05Z)
• CLR: Channel-wise Lightweight Reprogramming for Continual Learning [63.94773340278971]
  継続的な学習は、逐次的なタスクを通じて継続的に知識を蓄積する人間の能力をエミュレートすることを目的としている。 主な課題は、新しいタスクを学習した後、以前に学習したタスクのパフォーマンスを維持することである。 本稿では、畳み込みニューラルネットワークが破滅的な忘れを克服するのに役立つチャネルワイドなライトウェイト・リプログラミング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-21T06:56:21Z)
• TIDo: Source-free Task Incremental Learning in Non-stationary Environments [0.0]
  モデルベースのエージェントを更新して新しいターゲットタスクを学習するには、過去のトレーニングデータを格納する必要があります。 ラベル付きターゲットデータセットの制限を克服するタスクインクリメンタル学習手法はほとんどない。 本研究では,非定常的および目標的タスクに適応可能なワンショットタスクインクリメンタル学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-28T02:19:45Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)
• Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification [8.998976678920236]
  本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。 提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:03:12Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。