論文の概要: Supervised Knowledge May Hurt Novel Class Discovery Performance

• arxiv url: http://arxiv.org/abs/2306.03648v1
• Date: Tue, 6 Jun 2023 13:04:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 15:23:58.561797
• Title: Supervised Knowledge May Hurt Novel Class Discovery Performance
• Title（参考訳）: 教師付き知識が新しいクラス発見のパフォーマンスを損なうかもしれない
• Authors: Ziyun Li, Jona Otholt, Ben Dai, Di Hu, Christoph Meinel, Haojin Yang
• Abstract要約: 新たなクラス発見(NCD)は、非結合クラスを含むラベル付き集合の事前知識を活用することにより、ラベル付きデータセットで新しいカテゴリを推論することを目的としている。 教師付き知識は、意味的関連性の異なるレベルにおいて常に役に立つか?
• 参考スコア（独自算出の注目度）: 13.31397670697559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Novel class discovery (NCD) aims to infer novel categories in an unlabeled dataset by leveraging prior knowledge of a labeled set comprising disjoint but related classes. Given that most existing literature focuses primarily on utilizing supervised knowledge from a labeled set at the methodology level, this paper considers the question: Is supervised knowledge always helpful at different levels of semantic relevance? To proceed, we first establish a novel metric, so-called transfer flow, to measure the semantic similarity between labeled/unlabeled datasets. To show the validity of the proposed metric, we build up a large-scale benchmark with various degrees of semantic similarities between labeled/unlabeled datasets on ImageNet by leveraging its hierarchical class structure. The results based on the proposed benchmark show that the proposed transfer flow is in line with the hierarchical class structure; and that NCD performance is consistent with the semantic similarities (measured by the proposed metric). Next, by using the proposed transfer flow, we conduct various empirical experiments with different levels of semantic similarity, yielding that supervised knowledge may hurt NCD performance. Specifically, using supervised information from a low-similarity labeled set may lead to a suboptimal result as compared to using pure self-supervised knowledge. These results reveal the inadequacy of the existing NCD literature which usually assumes that supervised knowledge is beneficial. Finally, we develop a pseudo-version of the transfer flow as a practical reference to decide if supervised knowledge should be used in NCD. Its effectiveness is supported by our empirical studies, which show that the pseudo transfer flow (with or without supervised knowledge) is consistent with the corresponding accuracy based on various datasets. Code is released at https://github.com/J-L-O/SK-Hurt-NCD
• Abstract（参考訳）: 新たなクラス発見(NCD)は、非結合クラスを含むラベル付き集合の事前知識を活用することにより、ラベル付きデータセットに新しいカテゴリを推論することを目的としている。 既存の文献のほとんどが方法論レベルでラベル付き集合からの教師付き知識の活用に重点を置いていることを考えると、本論文ではその疑問を考察する。 そこで我々はまず,ラベル付き/ラベルなしデータセット間のセマンティックな類似性を測定するために,転送フローと呼ばれる新しいメトリクスを確立する。 提案手法の有効性を示すために,階層型クラス構造を活用し,imagenet上のラベル付き/ラベルなしデータセット間の様々な意味的類似度を持つ大規模ベンチマークを構築した。 提案するベンチマークに基づく結果は,提案する転送フローが階層的クラス構造と一致していることを示し,ncdの性能は意味的類似性(提案メトリックによる測定)と一致することを示した。 次に, 提案した伝達流を用いて, 意味的類似性の異なる様々な実験を行い, 教師付き知識がNCD性能を損なう可能性を示唆した。 特に、低相似性ラベル付き集合からの教師付き情報の使用は、純粋な自己教師付き知識の使用と比較して、最適な結果をもたらす可能性がある。 これらの結果は、教師付き知識が有用であると考える既存のNCD文献の不十分さを明らかにしている。 最後に,NCDにおいて教師付き知識を使用するべきかを判断するために,転送フローの擬似変換を実用的な参照として開発する。 その効果は,疑似転送フロー(教師付き知識の有無に関わらず)が,各種データセットに基づいて対応する精度と一致していることを示す実験研究によって裏付けられている。 コードはhttps://github.com/J-L-O/SK-Hurt-NCDで公開されている。

関連論文リスト

• Unsupervised Transfer Learning via Adversarial Contrastive Training [3.227277661633986]
  対戦型コントラスト学習(ACT)を用いた新しい教師なしトランスファー学習手法を提案する。 実験により, 細調整線形プローブとK-NNプロトコルを用いて, 各種データセットの分類精度に優れることを示した。
  論文  参考訳（メタデータ） (2024-08-16T05:11:52Z)
• Supervised Gradual Machine Learning for Aspect Category Detection [0.9857683394266679]
  アスペクトカテゴリー検出(ACD)は、あるレビュー文の中で暗黙的かつ明示的な側面を識別することを目的としている。 本稿では,Deep Neural Networks (DNN) と Gradual Machine Learning (GML) を教師付き環境で組み合わせることで,ACDタスクに取り組む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T07:21:46Z)
• KMF: Knowledge-Aware Multi-Faceted Representation Learning for Zero-Shot Node Classification [75.95647590619929]
  Zero-Shot Node Classification (ZNC)は、グラフデータ分析において、新しく重要なタスクである。 ラベルセマンティクスの豊かさを向上する知識認識型多面的フレームワーク(KMF)を提案する。 ノード情報集約によるプロトタイプドリフトの問題を軽減するために,新しい幾何学的制約を開発した。
  論文  参考訳（メタデータ） (2023-08-15T02:38:08Z)
• Dynamic Conceptional Contrastive Learning for Generalized Category Discovery [76.82327473338734]
  Generalized category discovery (GCD) は、部分的にラベル付けされたデータを自動でクラスタリングすることを目的としている。 ラベル付きデータには、ラベル付きデータの既知のカテゴリだけでなく、新しいカテゴリのインスタンスも含まれている。 GCDの効果的な方法の1つは、ラベルなしデータの識別表現を学習するために自己教師付き学習を適用することである。 本稿では,クラスタリングの精度を効果的に向上する動的概念コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-30T14:04:39Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• PromptCAL: Contrastive Affinity Learning via Auxiliary Prompts for Generalized Novel Category Discovery [39.03732147384566]
  Generalized Novel Category Discovery (GNCD) 設定は、既知のクラスや新しいクラスから来るラベルなしのトレーニングデータを分類することを目的としている。 本稿では,この課題に対処するために,PromptCALと呼ばれる補助視覚プロンプトを用いたコントラスト親和性学習法を提案する。 提案手法は,クラストークンと視覚的プロンプトのための既知のクラスと新しいクラスのセマンティッククラスタリングを改善するために,信頼性の高いペアワイズサンプル親和性を発見する。
  論文  参考訳（メタデータ） (2022-12-11T20:06:14Z)
• A Closer Look at Novel Class Discovery from the Labeled Set [13.31397670697559]
  新たなクラス発見(NCD)は、非結合クラスを含むラベル付き集合の事前知識を活用するラベル付きデータセットにおいて、新しいカテゴリを推論することを目的としている。 我々は,NCDがラベル付き集合よりも,ラベル付き集合と大きなセマンティック類似性を持つラベル付き集合の恩恵を受けることができるという仮説を提案し,実証する。 具体的には、ImageNet上のラベル付きデータセットとラベル付きデータセットのセマンティックな類似度が異なる、広範囲で大規模なベンチマークを確立する。
  論文  参考訳（メタデータ） (2022-09-19T15:41:44Z)
• Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
  本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。 特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。 このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-18T18:41:36Z)
• Mutual Information-guided Knowledge Transfer for Novel Class Discovery [23.772336970389834]
  本稿では,目に見えるクラスと目に見えないクラス間で意味的知識を伝達する原理と一般的な手法を提案する。 提案手法は,いくつかのベンチマークにおいて,従来のSOTAよりも有意差があることが示唆された。
  論文  参考訳（メタデータ） (2022-06-24T03:52:25Z)
• A Taxonomy of Similarity Metrics for Markov Decision Processes [62.997667081978825]
  近年、伝達学習は強化学習(RL)アルゴリズムをより効率的にすることに成功した。 本稿では,これらの指標を分類し,これまでに提案されている類似性の定義を分析する。
  論文  参考訳（メタデータ） (2021-03-08T12:36:42Z)
• Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition [75.44233392355711]
  KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。 まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。 次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。 グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
  論文  参考訳（メタデータ） (2020-09-20T15:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。