論文の概要: Class-relation Knowledge Distillation for Novel Class Discovery
- arxiv url: http://arxiv.org/abs/2307.09158v2
- Date: Sun, 6 Aug 2023 02:25:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 20:36:11.999079
- Title: Class-relation Knowledge Distillation for Novel Class Discovery
- Title（参考訳）: 新規クラス発見のためのクラス関連知識蒸留
- Authors: Gu Peiyan, Zhang Chuyu, Xu Ruiji, He Xuming
- Abstract要約: 主な課題は、既知のクラスデータの知識を新しいクラスの学習に転送することである。
本稿では,既知のクラスに基づいて学習したモデルの予測クラス分布に基づいて,新しいクラスに対するクラス関係表現を提案する。
本稿では,クラス関係表現を利用して新しいクラスの学習を規則化する新しい知識蒸留フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We tackle the problem of novel class discovery, which aims to learn novel
classes without supervision based on labeled data from known classes. A key
challenge lies in transferring the knowledge in the known-class data to the
learning of novel classes. Previous methods mainly focus on building a shared
representation space for knowledge transfer and often ignore modeling class
relations. To address this, we introduce a class relation representation for
the novel classes based on the predicted class distribution of a model trained
on known classes. Empirically, we find that such class relation becomes less
informative during typical discovery training. To prevent such information
loss, we propose a novel knowledge distillation framework, which utilizes our
class-relation representation to regularize the learning of novel classes. In
addition, to enable a flexible knowledge distillation scheme for each data
point in novel classes, we develop a learnable weighting function for the
regularization, which adaptively promotes knowledge transfer based on the
semantic similarity between the novel and known classes. To validate the
effectiveness and generalization of our method, we conduct extensive
experiments on multiple benchmarks, including CIFAR100, Stanford Cars, CUB, and
FGVC-Aircraft datasets. Our results demonstrate that the proposed method
outperforms the previous state-of-the-art methods by a significant margin on
almost all benchmarks. Code is available at
\href{https://github.com/kleinzcy/Cr-KD-NCD}{here}.
- Abstract（参考訳）: 既知のクラスからのラベル付きデータに基づく監督なしに新しいクラスを学習することを目的とした,新しいクラス発見の問題に取り組む。
重要な課題は、既知のクラスデータの知識を新しいクラスの学習に転送することである。
従来の手法は主に知識伝達のための共有表現空間の構築に重点を置いており、しばしばクラス関係のモデリングを無視する。
そこで本研究では,既知のクラスで学習されたモデルの予測クラス分布に基づく新しいクラスのクラス関係表現を提案する。
経験的に、そのようなクラス関係は、典型的な発見訓練において、より情報に乏しくなります。
このような情報損失を防止するため,我々のクラス関係表現を利用して新しいクラスの学習を規則化する新しい知識蒸留フレームワークを提案する。
また,新しいクラスにおける各データポイントに対する柔軟な知識蒸留スキームを実現するために,新しいクラスと既知のクラスの意味的類似性に基づいて知識伝達を適応的に促進する正規化のための学習可能な重み付け関数を開発した。
CIFAR100,Stanford Cars,CUB,FGVC-Aircraftデータセットなど,複数のベンチマークにおいて,本手法の有効性と一般化を検証する。
提案手法は, ほぼすべてのベンチマークにおいて, 従来の最先端手法よりも優れた性能を示した。
コードは \href{https://github.com/kleinzcy/cr-kd-ncd}{here} で入手できる。
関連論文リスト
- Self-Cooperation Knowledge Distillation for Novel Class Discovery [8.984031974257274]
新たなクラス発見(NCD)は、既知のクラスについて既に学んだ知識を活用することで、ラベルのないセットで未知のクラスと新しいクラスを発見することを目的としている。
本研究では, 自己協調的知識蒸留法 (SCKD) を提案し, 各トレーニングサンプル(既知の, 新規, ラベル付, ラベル付, 未ラベル) を, レビューと発見の両方に活用する。
論文 参考訳（メタデータ） (2024-07-02T03:49:48Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z) - Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳（メタデータ） (2024-01-29T18:27:52Z) - Novel Class Discovery for Long-tailed Recognition [17.464885951359047]
我々は,新しいクラスと既知のクラスの分布が長い尾を持つ,新しいクラス発見のためのより現実的な設定を考える。
この問題に対処するために,クラスを等角的に表現した適応型自己ラベル方式を提案する。
本手法は, 緩和された最適輸送問題の解法により, 新たなクラスに対して高品質な擬似ラベルを推論する。
論文 参考訳（メタデータ） (2023-08-06T02:15:19Z) - Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。
凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
論文 参考訳（メタデータ） (2023-03-28T13:47:16Z) - Novel Class Discovery without Forgetting [72.52222295216062]
我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。
ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。
CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
論文 参考訳（メタデータ） (2022-07-21T17:54:36Z) - Class-incremental Novel Class Discovery [76.35226130521758]
クラス増進型新規クラス発見(class-iNCD)の課題について検討する。
基本クラスに関する過去の情報を忘れないようにする,クラスiNCDのための新しい手法を提案する。
3つの共通ベンチマークで実施した実験により,本手法が最先端の手法を著しく上回ることを示した。
論文 参考訳（メタデータ） (2022-07-18T13:49:27Z) - Mutual Information-guided Knowledge Transfer for Novel Class Discovery [23.772336970389834]
本稿では,目に見えるクラスと目に見えないクラス間で意味的知識を伝達する原理と一般的な手法を提案する。
提案手法は,いくつかのベンチマークにおいて,従来のSOTAよりも有意差があることが示唆された。
論文 参考訳（メタデータ） (2022-06-24T03:52:25Z) - Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。
クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。
提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
論文 参考訳（メタデータ） (2022-01-04T06:55:19Z) - Long-tail Recognition via Compositional Knowledge Transfer [60.03764547406601]
末尾クラスの少数ショット問題に対処する長尾認識のための新しい戦略を導入する。
我々の目標は、情報に富んだ共通クラスから得られた知識を、意味的に類似しているがデータに富む稀なクラスに伝達することである。
実験結果から,本手法は稀なクラスにおいて,堅牢な共通クラス性能を維持しつつ,大幅な性能向上を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-12-13T15:48:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。