論文の概要: Multiband VAE: Latent Space Partitioning for Knowledge Consolidation in
Continual Learning
- arxiv url: http://arxiv.org/abs/2106.12196v1
- Date: Wed, 23 Jun 2021 06:58:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-24 15:18:09.204492
- Title: Multiband VAE: Latent Space Partitioning for Knowledge Consolidation in
Continual Learning
- Title(参考訳): マルチバンドVAE:連続学習における知識統合のための潜在空間分割
- Authors: Kamil Deja, Pawe{\l} Wawrzy\'nski, Daniel Marczak, Wojciech Masarczyk,
Tomasz Trzci\'nski
- Abstract要約: 従来を忘れずに新しいデータサンプルに関する知識を取得することは、継続的な学習の重要な問題である。
本稿では,変分オートエンコーダの潜伏空間の分割に依存する生成モデルにおける教師なし連続的知識統合手法を提案する。
標準連続学習評価ベンチマークに基づいて,本手法を新たな知識統合シナリオで評価し,提案手法が最先端の2倍に向上することを示す。
- 参考スコア(独自算出の注目度): 14.226973149346883
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new method for unsupervised continual knowledge consolidation in
generative models that relies on the partitioning of Variational Autoencoder's
latent space. Acquiring knowledge about new data samples without forgetting
previous ones is a critical problem of continual learning. Currently proposed
methods achieve this goal by extending the existing model while constraining
its behavior not to degrade on the past data, which does not exploit the full
potential of relations within the entire training dataset. In this work, we
identify this limitation and posit the goal of continual learning as a
knowledge accumulation task. We solve it by continuously re-aligning latent
space partitions that we call bands which are representations of samples seen
in different tasks, driven by the similarity of the information they contain.
In addition, we introduce a simple yet effective method for controlled
forgetting of past data that improves the quality of reconstructions encoded in
latent bands and a latent space disentanglement technique that improves
knowledge consolidation. On top of the standard continual learning evaluation
benchmarks, we evaluate our method on a new knowledge consolidation scenario
and show that the proposed approach outperforms state-of-the-art by up to
twofold across all testing scenarios.
- Abstract(参考訳): 本稿では,変分オートエンコーダの潜伏空間の分割に依存する生成モデルにおける教師なし連続的知識統合手法を提案する。
従来を忘れずに新しいデータサンプルに関する知識を取得することは、継続的な学習の重要な問題である。
現在提案されている手法は、既存のモデルを拡張しながら、過去のデータで劣化しないように振舞いを制約することで、この目標を達成している。
本研究では,この限界を特定し,知識蓄積タスクとして継続学習の目標を実証する。
我々は、異なるタスクで見られるサンプルの表現であるバンドを、それらが含む情報の類似性によって駆動する、遅延空間分割を継続的に調整することで解決する。
さらに,遅延帯域に符号化された再構成の質を向上する過去のデータの制御をシンプルかつ効果的に行う方法と,知識統合を改善する潜時空間のゆがみ技術を導入する。
標準の連続学習評価ベンチマークに基づいて,本手法を新たな知識統合シナリオで評価し,提案手法がすべてのテストシナリオで最大2倍の性能を発揮することを示す。
関連論文リスト
- Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳(メタデータ) (2023-06-16T08:13:41Z) - Learning to Retain while Acquiring: Combating Distribution-Shift in
Adversarial Data-Free Knowledge Distillation [31.294947552032088]
データフリーな知識蒸留(DFKD)は、教師から学生ニューラルネットワークへの知識伝達を、訓練データがない状態で行うという基本的な考え方により、近年人気を集めている。
本稿では,メタトレインとメタテストとして,知識獲得(新たに生成されたサンプルからの学習)と知識保持(以前に得られたサンプルの知識の保持)の課題を取り扱うことで,メタ学習にインスパイアされたフレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-28T03:50:56Z) - Online Continual Learning via the Meta-learning Update with Multi-scale
Knowledge Distillation and Data Augmentation [4.109784267309124]
継続的な学習は、一連のタスクから現在のタスクを迅速かつ継続的に学習することを目的としている。
この手法の一般的な制限は、前のタスクと現在のタスクの間のデータ不均衡である。
マルチスケール知識蒸留とデータ拡張によるメタラーニング更新という新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-12T10:03:53Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳(メタデータ) (2022-03-08T09:57:48Z) - Continual Few-shot Relation Learning via Embedding Space Regularization
and Data Augmentation [4.111899441919165]
従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。
埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。
提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
論文 参考訳(メタデータ) (2022-03-04T05:19:09Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳(メタデータ) (2021-12-31T12:05:22Z) - Continually Learning Self-Supervised Representations with Projected
Functional Regularization [39.92600544186844]
近年の自己教師あり学習手法は高品質な画像表現を学習でき、教師ありの手法でギャップを埋めている。
これらの手法は、新たな知識を段階的に取得することができない -- 実際、主にIDデータによる事前学習フェーズとしてのみ使用される。
従来の知識を忘れないように,機能正規化の利用を提案する。
論文 参考訳(メタデータ) (2021-12-30T11:59:23Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-28T06:14:38Z) - Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。
半教師付き長尾認識という新しい認識設定を提案する。
2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
論文 参考訳(メタデータ) (2021-05-01T00:43:38Z) - Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。
クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-14T23:46:17Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳(メタデータ) (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。