論文の概要: Class-relation Knowledge Distillation for Novel Class Discovery
- arxiv url: http://arxiv.org/abs/2307.09158v3
- Date: Fri, 25 Aug 2023 13:59:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 17:02:51.035410
- Title: Class-relation Knowledge Distillation for Novel Class Discovery
- Title(参考訳): 新規クラス発見のためのクラス関連知識蒸留
- Authors: Peiyan Gu, Chuyu Zhang, Ruijie Xu, Xuming He
- Abstract要約: 主な課題は、既知のクラスデータの知識を新しいクラスの学習に転送することである。
本稿では,既知のクラスに基づいて学習したモデルの予測クラス分布に基づいて,新しいクラスに対するクラス関係表現を提案する。
本稿では,クラス関係表現を利用して新しいクラスの学習を規則化する新しい知識蒸留フレームワークを提案する。
- 参考スコア(独自算出の注目度): 16.461242381109276
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We tackle the problem of novel class discovery, which aims to learn novel
classes without supervision based on labeled data from known classes. A key
challenge lies in transferring the knowledge in the known-class data to the
learning of novel classes. Previous methods mainly focus on building a shared
representation space for knowledge transfer and often ignore modeling class
relations. To address this, we introduce a class relation representation for
the novel classes based on the predicted class distribution of a model trained
on known classes. Empirically, we find that such class relation becomes less
informative during typical discovery training. To prevent such information
loss, we propose a novel knowledge distillation framework, which utilizes our
class-relation representation to regularize the learning of novel classes. In
addition, to enable a flexible knowledge distillation scheme for each data
point in novel classes, we develop a learnable weighting function for the
regularization, which adaptively promotes knowledge transfer based on the
semantic similarity between the novel and known classes. To validate the
effectiveness and generalization of our method, we conduct extensive
experiments on multiple benchmarks, including CIFAR100, Stanford Cars, CUB, and
FGVC-Aircraft datasets. Our results demonstrate that the proposed method
outperforms the previous state-of-the-art methods by a significant margin on
almost all benchmarks. Code is available at
\href{https://github.com/kleinzcy/Cr-KD-NCD}{here}.
- Abstract(参考訳): 既知のクラスからのラベル付きデータに基づく監督なしに新しいクラスを学習することを目的とした,新しいクラス発見の問題に取り組む。
重要な課題は、既知のクラスデータの知識を新しいクラスの学習に転送することである。
従来の手法は主に知識伝達のための共有表現空間の構築に重点を置いており、しばしばクラス関係のモデリングを無視する。
そこで本研究では,既知のクラスで学習されたモデルの予測クラス分布に基づく新しいクラスのクラス関係表現を提案する。
経験的に、そのようなクラス関係は、典型的な発見訓練において、より情報に乏しくなります。
このような情報損失を防止するため,我々のクラス関係表現を利用して新しいクラスの学習を規則化する新しい知識蒸留フレームワークを提案する。
また,新しいクラスにおける各データポイントに対する柔軟な知識蒸留スキームを実現するために,新しいクラスと既知のクラスの意味的類似性に基づいて知識伝達を適応的に促進する正規化のための学習可能な重み付け関数を開発した。
CIFAR100,Stanford Cars,CUB,FGVC-Aircraftデータセットなど,複数のベンチマークにおいて,本手法の有効性と一般化を検証する。
提案手法は, ほぼすべてのベンチマークにおいて, 従来の最先端手法よりも優れた性能を示した。
コードは \href{https://github.com/kleinzcy/cr-kd-ncd}{here} で入手できる。
関連論文リスト
- Continual Learning with Pre-Trained Models: A Survey [66.49084129482239]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳(メタデータ) (2024-01-29T18:27:52Z) - Federated Continual Novel Class Learning [68.05835753892907]
本稿では,グローバルな新規クラス数を正確に推定できるグローバルアライメント学習フレームワークを提案する。
Galは新規クラスの性能を大幅に改善し、精度は5.1%から10.6%に向上した。
Galは、様々な主流のフェデレートラーニングアルゴリズムに新しいクラス発見と学習能力を持たせるのに効果的であることが示されている。
論文 参考訳(メタデータ) (2023-12-21T00:31:54Z) - Novel Class Discovery for Long-tailed Recognition [17.464885951359047]
我々は,新しいクラスと既知のクラスの分布が長い尾を持つ,新しいクラス発見のためのより現実的な設定を考える。
この問題に対処するために,クラスを等角的に表現した適応型自己ラベル方式を提案する。
本手法は, 緩和された最適輸送問題の解法により, 新たなクラスに対して高品質な擬似ラベルを推論する。
論文 参考訳(メタデータ) (2023-08-06T02:15:19Z) - Novel Class Discovery without Forgetting [72.52222295216062]
我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。
ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。
CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
論文 参考訳(メタデータ) (2022-07-21T17:54:36Z) - Class-incremental Novel Class Discovery [76.35226130521758]
クラス増進型新規クラス発見(class-iNCD)の課題について検討する。
基本クラスに関する過去の情報を忘れないようにする,クラスiNCDのための新しい手法を提案する。
3つの共通ベンチマークで実施した実験により,本手法が最先端の手法を著しく上回ることを示した。
論文 参考訳(メタデータ) (2022-07-18T13:49:27Z) - Mutual Information-guided Knowledge Transfer for Novel Class Discovery [23.772336970389834]
本稿では,目に見えるクラスと目に見えないクラス間で意味的知識を伝達する原理と一般的な手法を提案する。
提案手法は,いくつかのベンチマークにおいて,従来のSOTAよりも有意差があることが示唆された。
論文 参考訳(メタデータ) (2022-06-24T03:52:25Z) - Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。
クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。
提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
論文 参考訳(メタデータ) (2022-01-04T06:55:19Z) - Long-tail Recognition via Compositional Knowledge Transfer [60.03764547406601]
末尾クラスの少数ショット問題に対処する長尾認識のための新しい戦略を導入する。
我々の目標は、情報に富んだ共通クラスから得られた知識を、意味的に類似しているがデータに富む稀なクラスに伝達することである。
実験結果から,本手法は稀なクラスにおいて,堅牢な共通クラス性能を維持しつつ,大幅な性能向上を達成できることが示唆された。
論文 参考訳(メタデータ) (2021-12-13T15:48:59Z) - Open-World Semi-Supervised Learning [66.90703597468377]
本稿では,従来のクラスを認識するためにモデルを必要とする,新しいオープンワールド半教師付き学習環境を提案する。
データの分類とクラスタ化を同時に行うアプローチであるORCAを提案する。
我々は,ORCAが新しいクラスを正確に発見し,ベンチマーク画像分類データセット上で以前に見られたクラスにサンプルを割り当てることを示した。
論文 参考訳(メタデータ) (2021-02-06T07:11:07Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳(メタデータ) (2020-06-10T15:15:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。