論文の概要: Modeling Inter-Class and Intra-Class Constraints in Novel Class Discovery

• arxiv url: http://arxiv.org/abs/2210.03591v3
• Date: Thu, 23 Mar 2023 13:15:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 18:20:39.884235
• Title: Modeling Inter-Class and Intra-Class Constraints in Novel Class Discovery
• Title（参考訳）: 新しいクラス発見におけるクラス間制約とクラス内制約のモデル化
• Authors: Wenbin Li, Zhichen Fan, Jing Huo, Yang Gao
• Abstract要約: 新たなクラス発見(NCD)は、クラス非結合なラベル付きデータセットから別の非ラベル付きデータセットへ共通の知識を転送するモデルを学ぶことを目的としている。 対称KKLD(Kullback-Leibler divergence)に基づくNCDにおけるクラス間制約とクラス内制約の両方をモデル化する。
• 参考スコア（独自算出の注目度）: 20.67503042774617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Novel class discovery (NCD) aims at learning a model that transfers the common knowledge from a class-disjoint labelled dataset to another unlabelled dataset and discovers new classes (clusters) within it. Many methods, as well as elaborate training pipelines and appropriate objectives, have been proposed and considerably boosted performance on NCD tasks. Despite all this, we find that the existing methods do not sufficiently take advantage of the essence of the NCD setting. To this end, in this paper, we propose to model both inter-class and intra-class constraints in NCD based on the symmetric Kullback-Leibler divergence (sKLD). Specifically, we propose an inter-class sKLD constraint to effectively exploit the disjoint relationship between labelled and unlabelled classes, enforcing the separability for different classes in the embedding space. In addition, we present an intra-class sKLD constraint to explicitly constrain the intra-relationship between a sample and its augmentations and ensure the stability of the training process at the same time. We conduct extensive experiments on the popular CIFAR10, CIFAR100 and ImageNet benchmarks and successfully demonstrate that our method can establish a new state of the art and can achieve significant performance improvements, e.g., 3.5%/3.7% clustering accuracy improvements on CIFAR100-50 dataset split under the task-aware/-agnostic evaluation protocol, over previous state-of-the-art methods. Code is available at https://github.com/FanZhichen/NCD-IIC.
• Abstract（参考訳）: 新たなクラス発見(NCD)は、クラス非結合なラベル付きデータセットから別の非ラベル付きデータセットに共通の知識を移行し、その内部に新しいクラス(クラスタ)を発見するモデルを学ぶことを目的としている。 多くの手法と詳細な訓練パイプライン、適切な目的が提案され、NCDタスクのパフォーマンスが大幅に向上した。 これらにもかかわらず、既存の手法がNCD設定の本質を十分に活用していないことが分かる。 そこで本稿では,NCDにおけるクラス間制約とクラス内制約の両方を対称なKullback-Leibler分散(sKLD)に基づいてモデル化する。 具体的には,ラベル付きクラスとラベル付きクラス間の不一致関係を効果的に活用するために,クラス間skld制約を提案する。 さらに,クラス内skld制約を提示することにより,サンプル間の関係性を明示的に制限し,同時にトレーニングプロセスの安定性を確保する。 我々は、CIFAR10, CIFAR100, ImageNetベンチマークの広範な実験を行い、我々の手法が技術の新たな状態を確立し、CIFAR100-50データセットにおける3.5%/3.7%のクラスタリング精度の改善をタスク認識/非依存評価プロトコルの下で達成できることを実証した。 コードはhttps://github.com/FanZhichen/NCD-IICで入手できる。

関連論文リスト

• SMILe: Leveraging Submodular Mutual Information For Robust Few-Shot Object Detection [2.0755366440393743]
  Few-Shot Object Detection (FSOD) において、オブジェクトクラスの融合と忘れは重要な課題である。 本稿では,相互情報機能を導入した新しいサブモジュール型相互情報学習フレームワークを提案する。 提案手法は,バックボーンアーキテクチャに依存しないFSODの既存手法に一般化する。
  論文  参考訳（メタデータ） (2024-07-02T20:53:43Z)
• Exclusive Style Removal for Cross Domain Novel Class Discovery [15.868889486516306]
  新たなクラスディスカバリ(NCD)は,オープンワールド学習において有望な分野である。 本稿では,基本特徴と異なるスタイル情報を抽出するための排他的スタイル除去モジュールを提案する。 このモジュールは他のNCDメソッドと簡単に統合でき、異なるディストリビューションを持つ新しいクラスのパフォーマンスを向上させるプラグインとして機能する。
  論文  参考訳（メタデータ） (2024-06-26T07:44:27Z)
• Few-shot Tuning of Foundation Models for Class-incremental Learning [19.165004570789755]
  本稿では,新しいクラスの基礎モデルを数ショット設定で継続的にチューニングするための新しいアプローチを提案する。 CoACTは、ベンチマーク評価において現在のSOTAよりも13.5%改善されている。
  論文  参考訳（メタデータ） (2024-05-26T16:41:03Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• NEV-NCD: Negative Learning, Entropy, and Variance regularization based novel action categories discovery [23.17093125627668]
  新たなカテゴリディスカバリ(NCD)は、部分的にアノテートされたラベル空間からの学習を容易にする。 そこで我々は,新しい一段階共同最適化型NCD法,負学習,エントロピー,分散正規化NCDを提案する。 ビデオ行動認識のNCD応用におけるNEV-NCDの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-14T19:20:26Z)
• Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
  我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。 凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
  論文  参考訳（メタデータ） (2023-03-28T13:47:16Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Spacing Loss for Discovering Novel Categories [72.52222295216062]
  新たなクラスディスカバリ(NCD)は、マシンラーニングモデルがラベルのないデータからインスタンスを意味的にグループ化する、学習パラダイムである。 まず,ラベル付きデータとラベルなしデータを併用する必要があるかどうかに基づいて,既存のNCD手法を1段階および2段階の手法に特徴付ける。 多次元スケーリングのキューを用いて、潜在空間における分離性を強制する単純で強力な損失関数を考案する。
  論文  参考訳（メタデータ） (2022-04-22T09:37:11Z)
• Novel Class Discovery in Semantic Segmentation [104.30729847367104]
  セマンティックにおける新しいクラス発見(NCDSS)について紹介する。 ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。 NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。 本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
  論文  参考訳（メタデータ） (2021-12-03T13:31:59Z)
• Boosting the Generalization Capability in Cross-Domain Few-shot Learning via Noise-enhanced Supervised Autoencoder [23.860842627883187]
  我々は、新しいノイズ強調型教師付きオートエンコーダ(NSAE)を用いて、特徴分布のより広範なバリエーションを捉えるようモデルに教える。 NSAEは入力を共同で再構築し、入力のラベルと再構成されたペアを予測することによってモデルを訓練する。 また、NSAE構造を利用して、より適応性を高め、対象領域の分類性能を向上させる2段階の微調整手順を提案する。
  論文  参考訳（メタデータ） (2021-08-11T04:45:56Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。