論文の概要: Continual Learning From Unlabeled Data Via Deep Clustering
- arxiv url: http://arxiv.org/abs/2104.07164v1
- Date: Wed, 14 Apr 2021 23:46:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 14:57:23.702641
- Title: Continual Learning From Unlabeled Data Via Deep Clustering
- Title(参考訳): 深層クラスタリングによるラベルなしデータからの連続学習
- Authors: Jiangpeng He and Fengqing Zhu
- Abstract要約: 継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。
クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
- 参考スコア(独自算出の注目度): 7.704949298975352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning, a promising future learning strategy, aims to learn new
tasks incrementally using less computation and memory resources instead of
retraining the model from scratch whenever new task arrives. However, existing
approaches are designed in supervised fashion assuming all data from new tasks
have been annotated, which are not practical for many real-life applications.
In this work, we introduce a new framework to make continual learning feasible
in unsupervised mode by using pseudo label obtained from cluster assignments to
update model. We focus on image classification task under class-incremental
setting and assume no class label is provided for training in each incremental
learning step. For illustration purpose, we apply k-means clustering, knowledge
distillation loss and exemplar set as our baseline solution, which achieves
competitive results even compared with supervised approaches on both
challenging CIFAR-100 and ImageNet (ILSVRC) datasets. We also demonstrate that
the performance of our baseline solution can be further improved by
incorporating recently developed supervised continual learning techniques,
showing great potential for our framework to minimize the gap between
supervised and unsupervised continual learning.
- Abstract(参考訳): 有望な将来の学習戦略である継続学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使ってインクリメンタルに新しいタスクを学習することを目的としている。
しかし、既存のアプローチは、新しいタスクからのすべてのデータが注釈付けされていると仮定して、監督された方法で設計されている。
本研究では,クラスタ割り当てから得られた擬似ラベルを用いて,教師なしモードで連続学習を実現するための新しいフレームワークを提案する。
学習段階ごとに学習にクラスラベルが与えられていないことを仮定し,学習段階ごとに画像分類タスクに焦点をあてる。
図示目的では,k-平均クラスタリング,知識蒸留損失,および模範集合をベースラインソリューションとして適用し,挑戦的CIFAR-100とイメージネット(ILSVRC)データセットに対する教師ありアプローチと比較しても,競争力のある結果が得られる。
また,最近開発された教師付き連続学習手法を取り入れることで,ベースラインソリューションの性能をさらに改善できることを実証し,教師付き学習と教師なし連続学習のギャップを最小限に抑えるためのフレームワークの可能性を示した。
関連論文リスト
- Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳(メタデータ) (2023-12-27T04:40:12Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳(メタデータ) (2023-06-21T05:26:28Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。
自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
論文 参考訳(メタデータ) (2022-10-13T17:59:16Z) - Few-Shot Continual Active Learning by a Robot [11.193504036335503]
CLエージェントがいくつかのラベル付きトレーニング例から新しいオブジェクトクラスを継続的に学習できるフレームワークを開発する。
対象分類タスクにおけるCORe-50データセットと実際のヒューマノイドロボットに対するアプローチを評価した。
論文 参考訳(メタデータ) (2022-10-09T01:52:19Z) - A Multi-label Continual Learning Framework to Scale Deep Learning
Approaches for Packaging Equipment Monitoring [57.5099555438223]
連続シナリオにおけるマルチラベル分類を初めて研究した。
タスク数に関して対数的複雑性を持つ効率的なアプローチを提案する。
我々は,包装業界における実世界のマルチラベル予測問題に対するアプローチを検証した。
論文 参考訳(メタデータ) (2022-08-08T15:58:39Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - Few-Shot Unsupervised Continual Learning through Meta-Examples [21.954394608030388]
教師なしメタコンチネンタル学習とタスクのバランスが取れない新しい複雑な設定を導入する。
我々は、破滅的な忘れを同時に軽減し、新しいタスクへの一般化を優先するメタラーニング手法を利用する。
数ショットの学習ベンチマークによる実験結果から, 教師付きケースと比較して, 競争性能が向上した。
論文 参考訳(メタデータ) (2020-09-17T07:02:07Z) - Move-to-Data: A new Continual Learning approach with Deep CNNs,
Application for image-class recognition [0.0]
トレーニング記録フェーズ」でモデルを事前トレーニングし、新しいデータに調整する必要がある。
本稿では,ニューラルネットワークの終端における高速連続学習層を提案する。
論文 参考訳(メタデータ) (2020-06-12T13:04:58Z) - Continual Learning with Node-Importance based Adaptive Group Sparse
Regularization [30.23319528662881]
AGS-CL(Adaptive Group Sparsity based Continual Learning)と呼ばれる新しい正規化に基づく連続学習手法を提案する。
提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
論文 参考訳(メタデータ) (2020-03-30T18:21:04Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳(メタデータ) (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。