論文の概要: Self-Cooperation Knowledge Distillation for Novel Class Discovery

• arxiv url: http://arxiv.org/abs/2407.01930v2
• Date: Wed, 3 Jul 2024 14:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 12:45:59.142092
• Title: Self-Cooperation Knowledge Distillation for Novel Class Discovery
• Title（参考訳）: 新しいクラス発見のための自己協力的知識蒸留
• Authors: Yuzheng Wang, Zhaoyu Chen, Dingkang Yang, Yunquan Sun, Lizhe Qi,
• Abstract要約: 新たなクラス発見(NCD)は、既知のクラスについて既に学んだ知識を活用することで、ラベルのないセットで未知のクラスと新しいクラスを発見することを目的としている。 本研究では, 自己協調的知識蒸留法 (SCKD) を提案し, 各トレーニングサンプル(既知の, 新規, ラベル付, ラベル付, 未ラベル) を, レビューと発見の両方に活用する。
• 参考スコア（独自算出の注目度）: 8.984031974257274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Novel Class Discovery (NCD) aims to discover unknown and novel classes in an unlabeled set by leveraging knowledge already learned about known classes. Existing works focus on instance-level or class-level knowledge representation and build a shared representation space to achieve performance improvements. However, a long-neglected issue is the potential imbalanced number of samples from known and novel classes, pushing the model towards dominant classes. Therefore, these methods suffer from a challenging trade-off between reviewing known classes and discovering novel classes. Based on this observation, we propose a Self-Cooperation Knowledge Distillation (SCKD) method to utilize each training sample (whether known or novel, labeled or unlabeled) for both review and discovery. Specifically, the model's feature representations of known and novel classes are used to construct two disjoint representation spaces. Through spatial mutual information, we design a self-cooperation learning to encourage model learning from the two feature representation spaces from itself. Extensive experiments on six datasets demonstrate that our method can achieve significant performance improvements, achieving state-of-the-art performance.
• Abstract（参考訳）: 新たなクラス発見(NCD)は、既知のクラスについて既に学んだ知識を活用することで、ラベルのないセットで未知のクラスと新しいクラスを発見することを目的としている。 既存の作業は、インスタンスレベルまたはクラスレベルの知識表現に焦点を当て、パフォーマンス改善を達成するために共有表現空間を構築します。 しかし、長い間無視されてきた問題は、既知のクラスと新しいクラスのサンプルの潜在的に不均衡な数であり、モデルを支配的なクラスへと押し上げている。 したがって、これらの手法は、既知の授業のレビューと新しい授業の発見の間の困難なトレードオフに悩まされる。 本研究は, 自己協調知識蒸留法 (SCKD) を用いて, 評価と発見の両方に, 各トレーニングサンプル(既知の, 新規, ラベル付, ラベル付, 未ラベル付のいずれにおいても) を利用する方法を提案する。 具体的には、既知のクラスと新しいクラスのモデルの特徴表現を用いて、2つの非結合表現空間を構築する。 空間的相互情報を用いて,2つの特徴表現空間からモデル学習を促進する自己協調学習を設計する。 6つのデータセットに対する大規模な実験により、我々の手法は、最先端のパフォーマンスを達成し、大幅な性能向上を達成できることを示した。

関連論文リスト

• Class-relation Knowledge Distillation for Novel Class Discovery [16.461242381109276]
  主な課題は、既知のクラスデータの知識を新しいクラスの学習に転送することである。 本稿では,既知のクラスに基づいて学習したモデルの予測クラス分布に基づいて,新しいクラスに対するクラス関係表現を提案する。 本稿では,クラス関係表現を利用して新しいクラスの学習を規則化する新しい知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:35:57Z)
• Novel Class Discovery without Forgetting [72.52222295216062]
  我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。 ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。 CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
  論文  参考訳（メタデータ） (2022-07-21T17:54:36Z)
• Class-incremental Novel Class Discovery [76.35226130521758]
  クラス増進型新規クラス発見(class-iNCD)の課題について検討する。 基本クラスに関する過去の情報を忘れないようにする,クラスiNCDのための新しい手法を提案する。 3つの共通ベンチマークで実施した実験により,本手法が最先端の手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2022-07-18T13:49:27Z)
• Mutual Information-guided Knowledge Transfer for Novel Class Discovery [23.772336970389834]
  本稿では,目に見えるクラスと目に見えないクラス間で意味的知識を伝達する原理と一般的な手法を提案する。 提案手法は,いくつかのベンチマークにおいて,従来のSOTAよりも有意差があることが示唆された。
  論文  参考訳（メタデータ） (2022-06-24T03:52:25Z)
• Long-tail Recognition via Compositional Knowledge Transfer [60.03764547406601]
  末尾クラスの少数ショット問題に対処する長尾認識のための新しい戦略を導入する。 我々の目標は、情報に富んだ共通クラスから得られた知識を、意味的に類似しているがデータに富む稀なクラスに伝達することである。 実験結果から,本手法は稀なクラスにおいて,堅牢な共通クラス性能を維持しつつ,大幅な性能向上を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-12-13T15:48:59Z)
• Open-Set Representation Learning through Combinatorial Embedding [62.05670732352456]
  ラベル付きクラスとラベルなしクラスの両方の例に基づく表現学習を通じて、データセットにおける新しい概念を識別することに興味がある。 異種ラベル空間上の複数の教師付きメタクラス分類器によって与えられる構成知識を用いて、自然に未知のクラス内のサンプルをクラスタリングする学習手法を提案する。 提案アルゴリズムは,未確認クラスの識別性の向上と,新しいクラスに一般化可能な既知のクラス表現の学習を併用して,新しい概念を探索する。
  論文  参考訳（メタデータ） (2021-06-29T11:51:57Z)
• Class-Balanced Distillation for Long-Tailed Visual Recognition [100.10293372607222]
  実世界のイメージはしばしばクラスごとの画像数の著しい不均衡によって特徴づけられ、ロングテール分布に繋がる。 本研究では、インスタンスサンプリングで学習した特徴表現が長尾設定では最適とは程遠いという重要な観察を行うことで、新しいフレームワークを提案する。 我々の主な貢献は、知識蒸留を利用して特徴表現を強化する新しい訓練方法である。
  論文  参考訳（メタデータ） (2021-04-12T08:21:03Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。