論文の概要: iTAML: An Incremental Task-Agnostic Meta-learning Approach
- arxiv url: http://arxiv.org/abs/2003.11652v1
- Date: Wed, 25 Mar 2020 21:42:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 02:41:03.667858
- Title: iTAML: An Incremental Task-Agnostic Meta-learning Approach
- Title（参考訳）: iTAML: タスク非依存型メタラーニングアプローチ
- Authors: Jathushan Rajasegaran, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan,
Mubarak Shah
- Abstract要約: 人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。
ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
- 参考スコア（独自算出の注目度）: 123.10294801296926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans can continuously learn new knowledge as their experience grows. In
contrast, previous learning in deep neural networks can quickly fade out when
they are trained on a new task. In this paper, we hypothesize this problem can
be avoided by learning a set of generalized parameters, that are neither
specific to old nor new tasks. In this pursuit, we introduce a novel
meta-learning approach that seeks to maintain an equilibrium between all the
encountered tasks. This is ensured by a new meta-update rule which avoids
catastrophic forgetting. In comparison to previous meta-learning techniques,
our approach is task-agnostic. When presented with a continuum of data, our
model automatically identifies the task and quickly adapts to it with just a
single update. We perform extensive experiments on five datasets in a
class-incremental setting, leading to significant improvements over the state
of the art methods (e.g., a 21.3% boost on CIFAR100 with 10 incremental tasks).
Specifically, on large-scale datasets that generally prove difficult cases for
incremental learning, our approach delivers absolute gains as high as 19.1% and
7.4% on ImageNet and MS-Celeb datasets, respectively.
- Abstract（参考訳）: 人間は経験が進むにつれて新しい知識を継続的に学ぶことができる。
対照的に、ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
本稿では,この問題を,古いタスクや新しいタスクに特有でない一般化パラメータのセットを学習することで回避できると仮定する。
そこで本研究では,すべてのタスク間の均衡を維持するための新しいメタラーニング手法を提案する。
これは破滅的な忘れ物を避ける新しいメタ更新規則によって保証される。
従来のメタ学習技術と比較して、我々のアプローチはタスクに依存しない。
データ連続体を提示すると、我々のモデルはタスクを自動的に識別し、1回の更新で迅速に適応する。
クラスインクリメンタルな設定で5つのデータセットに対して広範な実験を行い、アートメソッドの状態を大幅に改善しました(例えば、10のインクリメンタルタスクを備えたCIFAR100の21.3%向上など)。
具体的には、インクリメンタル学習の難しいケースを一般的に証明する大規模なデータセットでは、ImageNetとMS-Celebのデータセットでそれぞれ19.1%と7.4%の絶対的なゲインを提供する。
関連論文リスト
- Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳（メタデータ） (2024-03-24T12:41:58Z) - Incremental Meta-Learning via Episodic Replay Distillation for Few-Shot
Image Recognition [43.44508415430047]
本稿では,クラスを個別タスクで段階的に提示するインクリメンタルメタラーニング(IML)の問題について考察する。
エピソディック・リプレイ蒸留 (ERD) と呼ばれる IML へのアプローチを提案する。
ERDは、現在のタスクからクラスをミックスし、メタ学習のためにエピソードをサンプリングする際、以前のタスクからクラスを例示する。
論文 参考訳（メタデータ） (2021-11-09T08:32:05Z) - DIODE: Dilatable Incremental Object Detection [15.59425584971872]
従来のディープラーニングモデルには、以前に学習した知識を保存する能力がない。
多段階インクリメンタル検出タスクのための拡張可能なインクリメンタルオブジェクト検出器(DIODE)を提案する。
提案手法は,新たに学習した各タスクのパラメータ数を1.2%増加させることで,最大6.4%の性能向上を実現する。
論文 参考訳（メタデータ） (2021-08-12T09:45:57Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳（メタデータ） (2021-05-10T15:09:01Z) - Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。
タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。
私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
論文 参考訳（メタデータ） (2021-03-30T18:11:30Z) - Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。
既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。
パターン認識型メタラーニング手法を提案する。
論文 参考訳（メタデータ） (2020-10-19T08:06:47Z) - Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell
Classification [8.998976678920236]
本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。
AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。
提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
論文 参考訳（メタデータ） (2020-07-09T18:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。