論文の概要: Forward-Backward Knowledge Distillation for Continual Clustering
- arxiv url: http://arxiv.org/abs/2405.19234v1
- Date: Wed, 29 May 2024 16:13:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 16:21:56.710406
- Title: Forward-Backward Knowledge Distillation for Continual Clustering
- Title（参考訳）: 連続クラスタリングのためのフォワード-バックワード知識蒸留
- Authors: Mohammadreza Sadeghi, Zihan Wang, Narges Armanfard,
- Abstract要約: 教師なし連続学習(Unsupervised Continual Learning, UCL)は、ニューラルネットワークが明確なラベル情報なしでタスクをシーケンシャルに学習できるようにすることに焦点を当てた、機械学習の急成長分野である。
破滅的フォーッティング(CF)は、特にラベル付きデータの情報がアクセスできないUCLにおいて、継続的な学習において重要な課題となる。
本研究では,Unsupervised Continual Clustering (UCC) の概念を導入し,各種タスクを対象としたクラスタリングにおける性能向上とメモリ効率の向上を図った。
- 参考スコア（独自算出の注目度）: 14.234785944941672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised Continual Learning (UCL) is a burgeoning field in machine learning, focusing on enabling neural networks to sequentially learn tasks without explicit label information. Catastrophic Forgetting (CF), where models forget previously learned tasks upon learning new ones, poses a significant challenge in continual learning, especially in UCL, where labeled information of data is not accessible. CF mitigation strategies, such as knowledge distillation and replay buffers, often face memory inefficiency and privacy issues. Although current research in UCL has endeavored to refine data representations and address CF in streaming data contexts, there is a noticeable lack of algorithms specifically designed for unsupervised clustering. To fill this gap, in this paper, we introduce the concept of Unsupervised Continual Clustering (UCC). We propose Forward-Backward Knowledge Distillation for unsupervised Continual Clustering (FBCC) to counteract CF within the context of UCC. FBCC employs a single continual learner (the ``teacher'') with a cluster projector, along with multiple student models, to address the CF issue. The proposed method consists of two phases: Forward Knowledge Distillation, where the teacher learns new clusters while retaining knowledge from previous tasks with guidance from specialized student models, and Backward Knowledge Distillation, where a student model mimics the teacher's behavior to retain task-specific knowledge, aiding the teacher in subsequent tasks. FBCC marks a pioneering approach to UCC, demonstrating enhanced performance and memory efficiency in clustering across various tasks, outperforming the application of clustering algorithms to the latent space of state-of-the-art UCL algorithms.
- Abstract（参考訳）: 教師なし連続学習(Unsupervised Continual Learning, UCL)は、ニューラルネットワークが明確なラベル情報なしでタスクをシーケンシャルに学習できるようにすることに焦点を当てた、機械学習の急成長分野である。
モデルが新しいものを学ぶ際に学習したタスクを忘れるカタストロフィック・フォージッティング(CF)は、特にラベル付きデータの情報がアクセスできないUCLにおいて、継続的な学習において重要な課題となる。
知識蒸留やリプレイバッファといったCF緩和戦略は、しばしばメモリの非効率性とプライバシーの問題に直面している。
UCLにおける現在の研究は、ストリーミングデータコンテキストにおけるデータ表現の洗練とCFへの対処に取り組んでいますが、教師なしクラスタリング用に特別に設計されたアルゴリズムが欠如しています。
本稿では,このギャップを埋めるために,Unsupervised Continual Clustering (UCC) の概念を導入する。
UCCの文脈内でCFに対抗するために,教師なし連続クラスタリング(FBCC)のためのフォワード・バックワード知識蒸留を提案する。
FBCCは、CF問題に対処するために、クラスタプロジェクタと複数の学生モデルを備えた単一の連続学習者( ` `teacher'')を使用している。
提案手法は2つの段階から構成される:フォワード知識蒸留(Forward Knowledge Distillation) - 教師が以前の課題から知識を保持しながら新しいクラスタを学習し、特定の学生モデルから指導を受けた後進知識蒸留(Backward Knowledge Distillation) - 学生モデルが教師の行動を模倣してタスク固有の知識を保持し、その後の課題に支援する。
FBCCはUCCの先駆的なアプローチであり、様々なタスクにまたがるクラスタリングにおけるパフォーマンスとメモリ効率の向上を示し、クラスタリングアルゴリズムを最先端のUCLアルゴリズムの潜在領域に応用することよりも優れている。
関連論文リスト
- A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z) - Active Continual Learning: On Balancing Knowledge Retention and
Learnability [43.6658577908349]
一連のタスクで学んだことを忘れずに新しい知識を取得することは、継続学習(CL)の中心的焦点である。
本稿では, 能動連続学習(ACL)の課題の列における未探索問題について考察する。
ドメイン,クラス,タスクインクリメンタルシナリオにおける複数のALアルゴリズムとCLアルゴリズムの有効性と相互作用について検討する。
論文 参考訳（メタデータ） (2023-05-06T04:11:03Z) - Beyond Supervised Continual Learning: a Review [69.9674326582747]
連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。
データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。
本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
論文 参考訳（メタデータ） (2022-08-30T14:44:41Z) - Online Continual Learning with Contrastive Vision Transformer [67.72251876181497]
本稿では,オンラインCLの安定性と塑性のトレードオフを改善するために,CVT(Contrastive Vision Transformer)フレームワークを提案する。
具体的には、従来のタスクに関する情報を暗黙的にキャプチャするオンラインCLのための新しい外部アテンション機構を設計する。
学習可能な焦点に基づいて、新しいクラスと過去のクラスの間でのコントラスト学習を再バランスさせ、事前学習した表現を統合化するための焦点コントラスト損失を設計する。
論文 参考訳（メタデータ） (2022-07-24T08:51:02Z) - Learning an evolved mixture model for task-free continual learning [11.540150938141034]
タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。
メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
論文 参考訳（メタデータ） (2022-07-11T16:01:27Z) - Effects of Auxiliary Knowledge on Continual Learning [16.84113206569365]
連続学習(CL)では、ニューラルネットワークは、時間とともに分布が変化するデータのストリームに基づいて訓練される。
既存のCLアプローチのほとんどは、獲得した知識を保存するソリューションを見つけることに重点を置いている。
モデルが新しいタスクを継続的に学習する必要があるため、タスク学習の後に改善する可能性のある現在の知識に焦点を合わせることも重要である、と我々は主張する。
論文 参考訳（メタデータ） (2022-06-03T14:31:59Z) - Theoretical Understanding of the Information Flow on Continual Learning
Performance [2.741266294612776]
連続学習(Continuous Learning, CL)とは、エージェントがデータストリームから連続的に学習しなければならない設定である。
ネットワーク内の情報フローとCL性能の関係について検討し,「層間情報フローの知識はCFを緩和するためにどのように利用できるのか?」という疑問に答える。
我々の分析は、段階的なタスク学習プロセスにおいて、レイヤ内の情報適応に関する新しい洞察を提供する。
論文 参考訳（メタデータ） (2022-04-26T00:35:58Z) - Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。
クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-14T23:46:17Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳（メタデータ） (2021-01-02T09:04:14Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳（メタデータ） (2020-07-30T16:00:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。