Fugu-MT 論文翻訳(概要): Joint Representation Learning and Novel Category Discovery on Single- and Multi-modal Data

論文の概要: Joint Representation Learning and Novel Category Discovery on Single- and Multi-modal Data

arxiv url: http://arxiv.org/abs/2104.12673v1
Date: Mon, 26 Apr 2021 15:56:16 GMT
ステータス: 処理完了
システム内更新日: 2021-04-27 14:31:11.625380
Title: Joint Representation Learning and Novel Category Discovery on Single- and Multi-modal Data
Title（参考訳）: 複数モーダルデータを用いた共同表現学習と新たなカテゴリー発見
Authors: Xuihui Jia and Kai Han and Yukun Zhu and Bradley Green
Abstract要約: 信頼性の高い表現を共同学習し、ラベルなしのデータにクラスタを割り当てる汎用的なエンドツーエンドフレームワークを提案する。我々は共有表現空間にウィナーテイクオール(wta)ハッシュアルゴリズムを採用し,ラベルなしデータに対してペアワイズ擬似ラベルを生成する。大規模マルチモーダルビデオベンチマークKinetics-400およびVGG-Sound、および画像ベンチマークCIFAR10、CIFAR100およびImageNetに関するフレームワークを徹底的に評価します。
参考スコア（独自算出の注目度）: 15.261434423405731
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper studies the problem of novel category discovery on single- and multi-modal data with labels from different but relevant categories. We present a generic, end-to-end framework to jointly learn a reliable representation and assign clusters to unlabelled data. To avoid over-fitting the learnt embedding to labelled data, we take inspiration from self-supervised representation learning by noise-contrastive estimation and extend it to jointly handle labelled and unlabelled data. In particular, we propose using category discrimination on labelled data and cross-modal discrimination on multi-modal data to augment instance discrimination used in conventional contrastive learning approaches. We further employ Winner-Take-All (WTA) hashing algorithm on the shared representation space to generate pairwise pseudo labels for unlabelled data to better predict cluster assignments. We thoroughly evaluate our framework on large-scale multi-modal video benchmarks Kinetics-400 and VGG-Sound, and image benchmarks CIFAR10, CIFAR100 and ImageNet, obtaining state-of-the-art results.
Abstract（参考訳）: 本稿では,異なるカテゴリのラベルを持つ単一およびマルチモーダルデータにおける新しいカテゴリ発見の問題について検討する。信頼性の高い表現を共同学習し、ラベルなしのデータにクラスタを割り当てる汎用的なエンドツーエンドフレームワークを提案する。ラベル付きデータへの学習埋め込みが過剰に収まるのを避けるため、ノイズコントラスト推定による自己教師付き表現学習から着想を得て、ラベル付きデータとラベル付きデータを同時に扱うように拡張する。特に,ラベル付きデータにおけるカテゴリ識別とマルチモーダルデータにおけるクロスモーダル識別を用いて,従来のコントラスト学習手法におけるインスタンス識別の強化を提案する。さらに,共有表現空間におけるウィナー・テイク・オール(wta)ハッシュアルゴリズムを用いて,ラベルなしデータに対してペアワイズ擬似ラベルを生成し,クラスタ割り当てを予測する。我々は,大規模マルチモーダルビデオベンチマークのKinetics-400,VGG-Sound,画像ベンチマークのCIFAR10,CIFAR100,ImageNetを徹底的に評価し,最新の結果を得た。

関連論文リスト

Cross-Modality Clustering-based Self-Labeling for Multimodal Data Classification [2.666791490663749]
CMCSL(Cross-Modality Clustering-based Self-Labeling) CMCSLは、深い特徴空間の各モードに属するインスタンスをグループ化し、その結果のクラスタ内で既知のラベルを伝搬する。 MM-IMDbデータセットから抽出した20個のデータセットに対する実験的検討
論文参考訳（メタデータ） (2024-08-05T15:43:56Z)
Self Supervised Correlation-based Permutations for Multi-View Clustering [7.972599673048582]
汎用データのためのエンドツーエンドのディープラーニングベースのMVCフレームワークを提案する。我々のアプローチは、新しい置換に基づく正準相関目標を用いて有意義な融合データ表現を学習することである。 10つのMVCベンチマークデータセットを用いて、モデルの有効性を実証する。
論文参考訳（メタデータ） (2024-02-26T08:08:30Z)
Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
論文参考訳（メタデータ） (2024-01-24T09:39:45Z)
Generalized Category Discovery with Clustering Assignment Consistency [56.92546133591019]
一般化圏発見(GCD)は、最近提案されたオープンワールドタスクである。クラスタリングの一貫性を促進するための協調学習ベースのフレームワークを提案する。提案手法は,3つの総合的なベンチマークと3つのきめ細かい視覚認識データセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2023-10-30T00:32:47Z)
Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文参考訳（メタデータ） (2023-08-28T18:48:34Z)
Learning Semantic Segmentation from Multiple Datasets with Label Shifts [101.24334184653355]
本論文では,ラベル空間が異なる複数のデータセットを対象としたモデルの自動学習手法であるUniSegを提案する。具体的には,ラベルの相反と共起を考慮に入れた2つの損失を提案する。
論文参考訳（メタデータ） (2022-02-28T18:55:19Z)
Novel Visual Category Discovery with Dual Ranking Statistics and Mutual Knowledge Distillation [16.357091285395285]
我々は、新しいクラスから異なるセマンティックパーティションに非ラベリングなイメージをグループ化する問題に取り組む。これは従来の半教師付き学習よりも現実的で難しい設定です。本稿では,局所的な部分レベル情報に焦点をあてた2分岐学習フレームワークと,全体特性に焦点をあてた2分岐学習フレームワークを提案する。
論文参考訳（メタデータ） (2021-07-07T17:14:40Z)
Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文参考訳（メタデータ） (2021-06-20T17:34:55Z)
Automatically Discovering and Learning New Visual Categories with Ranking Statistics [145.89790963544314]
我々は,他のクラスをラベル付けした画像コレクションにおいて,新しいクラスを発見する問題に対処する。汎用クラスタリングモデルを学び、後者を用いて、非競合データ中の新しいクラスを識別する。我々は,標準分類ベンチマークに対するアプローチと,新しいカテゴリー発見法の性能を,有意なマージンで評価した。
論文参考訳（メタデータ） (2020-02-13T18:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。