論文の概要: Continual Learning From Unlabeled Data Via Deep Clustering

• arxiv url: http://arxiv.org/abs/2104.07164v1
• Date: Wed, 14 Apr 2021 23:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 14:57:23.702641
• Title: Continual Learning From Unlabeled Data Via Deep Clustering
• Title（参考訳）: 深層クラスタリングによるラベルなしデータからの連続学習
• Authors: Jiangpeng He and Fengqing Zhu
• Abstract要約: 継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。 クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.704949298975352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning, a promising future learning strategy, aims to learn new tasks incrementally using less computation and memory resources instead of retraining the model from scratch whenever new task arrives. However, existing approaches are designed in supervised fashion assuming all data from new tasks have been annotated, which are not practical for many real-life applications. In this work, we introduce a new framework to make continual learning feasible in unsupervised mode by using pseudo label obtained from cluster assignments to update model. We focus on image classification task under class-incremental setting and assume no class label is provided for training in each incremental learning step. For illustration purpose, we apply k-means clustering, knowledge distillation loss and exemplar set as our baseline solution, which achieves competitive results even compared with supervised approaches on both challenging CIFAR-100 and ImageNet (ILSVRC) datasets. We also demonstrate that the performance of our baseline solution can be further improved by incorporating recently developed supervised continual learning techniques, showing great potential for our framework to minimize the gap between supervised and unsupervised continual learning.
• Abstract（参考訳）: 有望な将来の学習戦略である継続学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使ってインクリメンタルに新しいタスクを学習することを目的としている。 しかし、既存のアプローチは、新しいタスクからのすべてのデータが注釈付けされていると仮定して、監督された方法で設計されている。 本研究では,クラスタ割り当てから得られた擬似ラベルを用いて,教師なしモードで連続学習を実現するための新しいフレームワークを提案する。 学習段階ごとに学習にクラスラベルが与えられていないことを仮定し,学習段階ごとに画像分類タスクに焦点をあてる。 図示目的では,k-平均クラスタリング,知識蒸留損失,および模範集合をベースラインソリューションとして適用し,挑戦的CIFAR-100とイメージネット(ILSVRC)データセットに対する教師ありアプローチと比較しても,競争力のある結果が得られる。 また,最近開発された教師付き連続学習手法を取り入れることで,ベースラインソリューションの性能をさらに改善できることを実証し,教師付き学習と教師なし連続学習のギャップを最小限に抑えるためのフレームワークの可能性を示した。

関連論文リスト

• Low-Rank Mixture-of-Experts for Continual Medical Image Segmentation [18.984447545932706]
  破滅的な忘れ」問題は、モデルが新しいカテゴリやタスクに拡張された際に、以前に学習した特徴を忘れたときに発生する。 本稿では,データ固有のMixture of Experts構造を導入して,新しいタスクやカテゴリを扱うネットワークを提案する。 クラスレベルおよびタスクレベルの連続学習課題に対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-19T14:19:50Z)
• Unsupervised Meta-Learning via In-Context Learning [3.4165401459803335]
  本稿では,トランスフォーマーアーキテクチャで観察される教師なし学習の一般化能力を活用する,教師なしメタラーニングの新たなアプローチを提案する。 提案手法は,メタラーニングをシーケンスモデリング問題として再設計し,トランスフォーマーエンコーダがサポート画像からタスクコンテキストを学習できるようにする。
  論文  参考訳（メタデータ） (2024-05-25T08:29:46Z)
• Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning [52.046037471678005]
  半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。 半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
  論文  参考訳（メタデータ） (2023-12-27T04:40:12Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• A Multi-label Continual Learning Framework to Scale Deep Learning Approaches for Packaging Equipment Monitoring [57.5099555438223]
  連続シナリオにおけるマルチラベル分類を初めて研究した。 タスク数に関して対数的複雑性を持つ効率的なアプローチを提案する。 我々は,包装業界における実世界のマルチラベル予測問題に対するアプローチを検証した。
  論文  参考訳（メタデータ） (2022-08-08T15:58:39Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Few-Shot Unsupervised Continual Learning through Meta-Examples [21.954394608030388]
  教師なしメタコンチネンタル学習とタスクのバランスが取れない新しい複雑な設定を導入する。 我々は、破滅的な忘れを同時に軽減し、新しいタスクへの一般化を優先するメタラーニング手法を利用する。 数ショットの学習ベンチマークによる実験結果から, 教師付きケースと比較して, 競争性能が向上した。
  論文  参考訳（メタデータ） (2020-09-17T07:02:07Z)
• Continual Learning with Node-Importance based Adaptive Group Sparse Regularization [30.23319528662881]
  AGS-CL(Adaptive Group Sparsity based Continual Learning)と呼ばれる新しい正規化に基づく連続学習手法を提案する。 提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
  論文  参考訳（メタデータ） (2020-03-30T18:21:04Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。