論文の概要: Unsupervised Continual Clustering via Forward-Backward Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2606.07474v1
• Date: Fri, 05 Jun 2026 17:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.867659
• Title: Unsupervised Continual Clustering via Forward-Backward Knowledge Distillation
• Title（参考訳）: フォワード-バックワード知識蒸留による非教師なし連続クラスタリング
• Authors: Mohammadreza Sadeghi, Sareh Soleimani, Zihan Wang, Narges Armanfard,
• Abstract要約: Unsupervised Continual Learningは、ニューラルネットワークがラベルや過去のデータにアクセスせずにシーケンシャルなタスクを学習できるようにすることを目的としている。 モデルは、新しいものを学ぶ際に、以前に学んだタスクを忘れる。 非教師付き連続クラスタリング(UCC)を導入し、連続クラスタリングのための前方後方知識蒸留(FBCC)を提案する。
• 参考スコア（独自算出の注目度）: 16.561832598191327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised Continual Learning (UCL) aims to enable neural networks to learn sequential tasks without labels or access to past data. A major challenge in this setting is Catastrophic Forgetting, where models forget previously learned tasks upon learning new ones. This challenge is amplified in UCL due to the absence of labels to guide learning and memory retention. Existing mitigation strategies, such as knowledge distillation and replay buffers, often raise memory and privacy concerns. Moreover, current UCL methods largely overlook clustering-specific objectives. To fill this gap, we introduce Unsupervised Continual Clustering (UCC) and propose Forward-Backward Knowledge Distillation for Continual Clustering (FBCC). FBCC employs a continual teacher network with a clustering projector and lightweight task-specific students. Through a dual-phase forward-backward distillation process, the teacher learns new clusters while preserving previously discovered cluster structure without storing past data. FBCC represents a pioneering approach to UCC, demonstrating improved clustering performance across sequential tasks. Experiments on four benchmark datasets demonstrate that FBCC consistently outperforms existing continual learning baselines in clustering accuracy while significantly reducing catastrophic forgetting.
• Abstract（参考訳）: Unsupervised Continual Learning (UCL)は、ニューラルネットワークがラベルや過去のデータにアクセスせずにシーケンシャルなタスクを学習できるようにすることを目的としている。 モデルは、新しいものを学ぶ際に、以前に学んだタスクを忘れる。 この課題は、学習と記憶の保持をガイドするラベルがないため、UCLでは増幅されている。 知識の蒸留や再生バッファといった既存の緩和戦略は、しばしば記憶とプライバシーの懸念を引き起こす。 さらに、現在のUCLメソッドはクラスタリング固有の目的を概ね見落としている。 このギャップを埋めるために、Unsupervised Continual Clustering (UCC)を導入し、FBCC(Forward-Backward Knowledge Distillation for Continual Clustering)を提案する。 FBCCは、クラスタリングプロジェクタと軽量なタスク固有の学生を備えた連続的な教師ネットワークを採用している。 教師は、二相前向き蒸留プロセスを通じて、過去のデータを保存することなく、以前に発見されたクラスタ構造を保存しながら、新しいクラスタを学習する。 FBCCはUCCの先駆的なアプローチであり、シーケンシャルタスク間のクラスタリング性能が改善されている。 4つのベンチマークデータセットの実験により、FBCCはクラスタリングの精度において、既存の継続的な学習ベースラインを一貫して上回り、破滅的な忘れを著しく低減することを示した。

関連論文リスト

• Group and Exclusive Sparse Regularization-based Continual Learning of CNNs [0.2897702129074362]
  Group and Exclusive Sparsity based Continual Learningは、以前のタスクを忘れることを避ける。 GESCLは、プラスチックの規則化用語を通じてネットワークプラスティックを作る。 一般的なCLビジョンベンチマークの実験では、GESCLは最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-01-07T07:15:11Z)
• Clustering via Self-Supervised Diffusion [6.9158153233702935]
  Diffusion (CLUDI) によるクラスタリングは、拡散モデルの生成パワーと事前訓練されたビジョントランスフォーマーの機能を組み合わせて、堅牢で正確なクラスタリングを実現する、自己監督型のフレームワークである。 教師は拡散に基づくサンプリングを使用して多様なクラスタ割り当てを生成し、学生は安定した予測へと洗練する。
  論文  参考訳（メタデータ） (2025-07-06T07:57:08Z)
• Fuzzy Cluster-Aware Contrastive Clustering for Time Series [1.435214708535728]
  従来の教師なしクラスタリング手法は、しばしば時系列データの複雑な性質を捉えるのに失敗する。 本稿では,表現学習とクラスタリングを協調的に最適化するファジィクラスタ対応コントラストクラスタリングフレームワーク(FCACC)を提案する。 本稿では,時系列データの様々な特徴を活用して特徴抽出を強化するために,新しい3視点データ拡張手法を提案する。
  論文  参考訳（メタデータ） (2025-03-28T07:59:23Z)
• Forward-Backward Knowledge Distillation for Continual Clustering [14.234785944941672]
  教師なし連続学習(Unsupervised Continual Learning, UCL)は、ニューラルネットワークが明確なラベル情報なしでタスクをシーケンシャルに学習できるようにすることに焦点を当てた、機械学習の急成長分野である。 破滅的フォーッティング(CF)は、特にラベル付きデータの情報がアクセスできないUCLにおいて、継続的な学習において重要な課題となる。 本研究では,Unsupervised Continual Clustering (UCC) の概念を導入し,各種タスクを対象としたクラスタリングにおける性能向上とメモリ効率の向上を図った。
  論文  参考訳（メタデータ） (2024-05-29T16:13:54Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• Online Continual Learning with Contrastive Vision Transformer [67.72251876181497]
  本稿では,オンラインCLの安定性と塑性のトレードオフを改善するために,CVT(Contrastive Vision Transformer)フレームワークを提案する。 具体的には、従来のタスクに関する情報を暗黙的にキャプチャするオンラインCLのための新しい外部アテンション機構を設計する。 学習可能な焦点に基づいて、新しいクラスと過去のクラスの間でのコントラスト学習を再バランスさせ、事前学習した表現を統合化するための焦点コントラスト損失を設計する。
  論文  参考訳（メタデータ） (2022-07-24T08:51:02Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)
• Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
  継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。 クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-14T23:46:17Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Online Deep Clustering for Unsupervised Representation Learning [108.33534231219464]
  オンラインディープクラスタリング(ODC)は、交互にではなく、クラスタリングとネットワーク更新を同時に実行する。 我々は,2つの動的メモリモジュール,すなわち,サンプルラベルと特徴を格納するサンプルメモリと,セントロイド進化のためのセントロイドメモリを設計,維持する。 このように、ラベルとネットワークは交互にではなく肩から肩へと進化する。
  論文  参考訳（メタデータ） (2020-06-18T16:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。