論文の概要: ImpressLearn: Continual Learning via Combined Task Impressions
- arxiv url: http://arxiv.org/abs/2210.01987v1
- Date: Wed, 5 Oct 2022 02:28:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 13:25:35.439962
- Title: ImpressLearn: Continual Learning via Combined Task Impressions
- Title（参考訳）: impresslearn: 複合タスクインプレッションによる継続的学習
- Authors: Dhrupad Bhardwaj, Julia Kempe, Artem Vysogorets, Angela M. Teng, and
Evaristus C. Ezekwem
- Abstract要約: 本研究は、破滅的な忘れを苦しめることなく、複数のタスクでディープニューラルネットワークを逐次訓練する新しい手法を提案する。
ランダムなバックボーンネットワーク上で少数のタスク固有のマスクの線形結合を学習するだけで、以前に学習したタスクの精度を維持したり、新しいタスクの精度を高めることができることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work proposes a new method to sequentially train a deep neural network
on multiple tasks without suffering catastrophic forgetting, while endowing it
with the capability to quickly adapt to unseen tasks. Starting from existing
work on network masking (Wortsman et al., 2020), we show that simply learning a
linear combination of a small number of task-specific masks (impressions) on a
randomly initialized backbone network is sufficient to both retain accuracy on
previously learned tasks, as well as achieve high accuracy on new tasks. In
contrast to previous methods, we do not require to generate dedicated masks or
contexts for each new task, instead leveraging transfer learning to keep
per-task parameter overhead small. Our work illustrates the power of linearly
combining individual impressions, each of which fares poorly in isolation, to
achieve performance comparable to a dedicated mask. Moreover, even repeated
impressions from the same task (homogeneous masks), when combined can approach
the performance of heterogeneous combinations if sufficiently many impressions
are used. Our approach scales more efficiently than existing methods, often
requiring orders of magnitude fewer parameters and can function without
modification even when task identity is missing. In addition, in the setting
where task labels are not given at inference, our algorithm gives an often
favorable alternative to the entropy based task-inference methods proposed in
(Wortsman et al., 2020). We evaluate our method on a number of well known image
classification data sets and architectures.
- Abstract（参考訳）: 本研究は,未知のタスクに迅速に適応する能力を内挿しながら,破滅的な忘れを生じることなく,複数のタスクに対してディープニューラルネットワークをシーケンシャルにトレーニングする新しい手法を提案する。
ネットワークマスキングに関する既存の研究(Wortsman et al., 2020)から、ランダムに初期化されたバックボーンネットワーク上で少数のタスク固有のマスク(印象)の線形結合を学習するだけで、以前に学習したタスクの精度を維持し、新しいタスクの精度を高めることができることを示す。
従来の手法とは対照的に、タスク毎に専用のマスクやコンテキストを生成する必要はなく、代わりにトランスファー学習を活用してタスク毎のパラメータのオーバーヘッドを小さくする。
我々の研究は、個々の印象を線形に結合する能力を示し、それぞれが孤立していないので、専用のマスクに匹敵するパフォーマンスを達成する。
また、同じタスク(均質なマスク)からの繰り返しのインプレッションであっても、十分な数のインプレッションを使用すると、組み合わせた場合、不均質なコンビネーションのパフォーマンスに近づくことができる。
我々のアプローチは既存のメソッドよりも効率的にスケールでき、しばしば桁違いに少ないパラメータを必要とし、タスクのアイデンティティが失われても修正なしで機能する。
また,推論時にタスクラベルを付与しない環境では,提案するエントロピーに基づくタスク推論手法の代替として,アルゴリズムが好まれる(Wortsman et al., 2020)。
本手法は,多くの画像分類データセットとアーキテクチャを用いて評価する。
関連論文リスト
- Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - TaskMix: Data Augmentation for Meta-Learning of Spoken Intent
Understanding [0.0]
本稿では,タスクの多様性が低い場合のオーバーフィッティングという問題を,最先端のデータ拡張手法により悪化させることを示す。
本稿では,既存のタスクを線形に補間することで,新しいタスクを合成する簡単なTaskMixを提案する。
TaskMixはベースラインを上回り、タスクの多様性が低い場合の過度な適合を軽減し、高い場合でも性能が低下しないことを示す。
論文 参考訳（メタデータ） (2022-09-26T00:37:40Z) - Interval Bound Interpolation for Few-shot Learning with Few Tasks [15.85259386116784]
少ないショット学習は、さまざまなタスクのトレーニングから得られた知識を、限られたラベル付きデータで見つからないタスクに転送することを目的としている。
そこで本研究では,頑健な学習文献から数ショット学習まで,インターバルバウンダリの概念を紹介した。
次に、利用可能なタスクと各インターバル境界を補間することにより、トレーニングのための新しいタスクを人工的に形成する。
論文 参考訳（メタデータ） (2022-04-07T15:29:27Z) - Few-shot Sequence Learning with Transformers [79.87875859408955]
少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。
本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。
トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-17T12:30:38Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z) - Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。
本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文 参考訳（メタデータ） (2020-03-21T02:08:17Z) - Ternary Feature Masks: zero-forgetting for task-incremental learning [68.34518408920661]
本稿では,タスク認識体制の継続的な学習を忘れずにアプローチを提案する。
第三のマスクを使用することで、モデルを新しいタスクにアップグレードしたり、以前のタスクからの知識を再利用したりできます。
本手法は,重みに基づく手法と比較して,メモリオーバーヘッドを低減しつつ,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2020-01-23T18:08:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。