論文の概要: A Multi-Head Model for Continual Learning via Out-of-Distribution Replay
- arxiv url: http://arxiv.org/abs/2208.09734v1
- Date: Sat, 20 Aug 2022 19:17:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:43:45.621905
- Title: A Multi-Head Model for Continual Learning via Out-of-Distribution Replay
- Title（参考訳）: 分散リプレイによる連続学習のためのマルチヘッドモデル
- Authors: Gyuhak Kim, Zixuan Ke, Bing Liu
- Abstract要約: 連続学習(CL)における破滅的忘れ(CF)に対する多くのアプローチが提案されている。
本稿では,MOREと呼ばれるトランスフォーマーネットワークを用いて,タスク毎に個別の分類器(頭部)を構築する手法を提案する。
- 参考スコア（独自算出の注目度）: 16.189891444511755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper studies class incremental learning (CIL) of continual learning
(CL). Many approaches have been proposed to deal with catastrophic forgetting
(CF) in CIL. Most methods incrementally construct a single classifier for all
classes of all tasks in a single head network. To prevent CF, a popular
approach is to memorize a small number of samples from previous tasks and
replay them during training of the new task. However, this approach still
suffers from serious CF as the parameters learned for previous tasks are
updated or adjusted with only the limited number of saved samples in the
memory. This paper proposes an entirely different approach that builds a
separate classifier (head) for each task (called a multi-head model) using a
transformer network, called MORE. Instead of using the saved samples in memory
to update the network for previous tasks/classes in the existing approach, MORE
leverages the saved samples to build a task specific classifier (adding a new
classification head) without updating the network learned for previous
tasks/classes. The model for the new task in MORE is trained to learn the
classes of the task and also to detect samples that are not from the same data
distribution (i.e., out-of-distribution (OOD)) of the task. This enables the
classifier for the task to which the test instance belongs to produce a high
score for the correct class and the classifiers of other tasks to produce low
scores because the test instance is not from the data distributions of these
classifiers. Experimental results show that MORE outperforms state-of-the-art
baselines and is also naturally capable of performing OOD detection in the
continual learning setting.
- Abstract（参考訳）: 本稿では,継続学習(CL)のクラスインクリメンタル学習(CIL)について検討する。
CILにおける破滅的忘れ(CF)に対する多くのアプローチが提案されている。
ほとんどのメソッドは、単一のヘッダネットワーク内のすべてのタスクのクラスに対して、インクリメンタルに単一の分類器を構築する。
cfを防止するため、一般的なアプローチは、以前のタスクから少数のサンプルを記憶し、新しいタスクのトレーニング中にそれを再生する。
しかし、このアプローチは依然として深刻なcfに苦しむ。以前のタスクで学んだパラメータは、メモリに保存されたサンプルの数を限定して更新または調整される。
本稿では,各タスク(マルチヘッドモデルと呼ばれる)に対して more と呼ばれるトランスフォーマーネットワークを用いて別個の分類器(ヘッド)を構築する,まったく異なるアプローチを提案する。
メモリ上に保存されたサンプルを使用して既存のアプローチで以前のタスク/クラスを更新するのではなく、保存されたサンプルを活用して、以前のタスク/クラスで学んだネットワークを更新することなく、タスク固有の分類器(新しい分類ヘッドを追加する)を構築する。
MOREにおける新しいタスクのモデルは、タスクのクラスを学習し、タスクの同じデータ分布(すなわち、アウト・オブ・ディストリビューション(OOD))からないサンプルを検出するために訓練される。
これにより、テストインスタンスが属するタスクの分類器は、正しいクラスに対して高いスコアを生成することができ、他のタスクの分類器は、テストインスタンスがこれらの分類器のデータ分布からではないため、低いスコアを生成することができる。
実験の結果,MOREは最先端のベースラインよりも優れており,連続学習環境でOOD検出を自然に行うことができることがわかった。
関連論文リスト
- Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。
1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。
提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
論文 参考訳（メタデータ） (2024-02-02T09:33:07Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。
PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。
実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
論文 参考訳（メタデータ） (2023-10-16T13:59:56Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for
Downstream Tasks [55.431048995662714]
我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。
このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。
我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
論文 参考訳（メタデータ） (2023-01-27T06:49:47Z) - Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。
TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。
提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文 参考訳（メタデータ） (2022-11-18T15:09:03Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-03-31T13:46:41Z) - Class-incremental Learning using a Sequence of Partial Implicitly
Regularized Classifiers [0.0]
クラス増分学習では、トレーニングデータ全体にアクセスすることなく、複数のクラスを順次学習することが目的である。
CIFAR100データセットの実験では、提案手法がSOTAの性能を大きなマージンで向上させることが示された。
論文 参考訳（メタデータ） (2021-04-04T10:02:45Z) - OvA-INN: Continual Learning with Invertible Neural Networks [0.0]
OvA-INNは、一度に1つのクラスを学習でき、以前のデータを格納しない。
特徴抽出器上にInvertible Networkを積み重ねることで,事前学習モデルの活用が可能であることを示す。
論文 参考訳（メタデータ） (2020-06-24T14:40:05Z) - Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。
本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
論文 参考訳（メタデータ） (2020-04-01T13:31:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。