論文の概要: Nested Collaborative Learning for Long-Tailed Visual Recognition

• arxiv url: http://arxiv.org/abs/2203.15359v1
• Date: Tue, 29 Mar 2022 08:55:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 15:07:40.435679
• Title: Nested Collaborative Learning for Long-Tailed Visual Recognition
• Title（参考訳）: 長期視覚認識のためのNested Collaborative Learning
• Authors: Jun Li, Zichang Tan, Jun Wan, Zhen Lei and Guodong Guo
• Abstract要約: NCLはNested Individual Learning (NIL)とNested Balanced Online Distillation (NBOD)の2つのコアコンポーネントから構成される。 表現をより徹底的に学習するために、NILとNBODはネストされた方法で定式化され、学習は全視点からだけでなく、部分的な視点からいくつかのハードなカテゴリに対して行われる。 NCLでは、2つの視点から学ぶことはネストされ、非常に関連があり、補完的であり、ネットワークがグローバルでロバストな特徴だけでなく、注意深く区別する能力も捉えるのに役立つ。
• 参考スコア（独自算出の注目度）: 71.6074806468641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The networks trained on the long-tailed dataset vary remarkably, despite the same training settings, which shows the great uncertainty in long-tailed learning. To alleviate the uncertainty, we propose a Nested Collaborative Learning (NCL), which tackles the problem by collaboratively learning multiple experts together. NCL consists of two core components, namely Nested Individual Learning (NIL) and Nested Balanced Online Distillation (NBOD), which focus on the individual supervised learning for each single expert and the knowledge transferring among multiple experts, respectively. To learn representations more thoroughly, both NIL and NBOD are formulated in a nested way, in which the learning is conducted on not just all categories from a full perspective but some hard categories from a partial perspective. Regarding the learning in the partial perspective, we specifically select the negative categories with high predicted scores as the hard categories by using a proposed Hard Category Mining (HCM). In the NCL, the learning from two perspectives is nested, highly related and complementary, and helps the network to capture not only global and robust features but also meticulous distinguishing ability. Moreover, self-supervision is further utilized for feature enhancement. Extensive experiments manifest the superiority of our method with outperforming the state-of-the-art whether by using a single model or an ensemble.
• Abstract（参考訳）: ロングテールデータセットでトレーニングされたネットワークは、同じトレーニング設定にもかかわらず著しく異なり、ロングテール学習において大きな不確実性を示している。 この不確実性を軽減するため,複数の専門家を共同で学習することで,課題に対処するNested Collaborative Learning (NCL)を提案する。 nclはnested individual learning(nil)とnested balanced online distillation(nbod)の2つのコアコンポーネントで構成されており、それぞれの専門家に対する個別の教師付き学習と、複数の専門家間での知識の伝達に焦点を当てている。 表現をより徹底的に学習するために、NILとNBODはネストされた方法で定式化され、学習は全視点からだけでなく、部分的な視点からいくつかの難しいカテゴリに対して行われる。 部分的な観点からの学習については,提案するハードカテゴリマイニング(HCM)を用いて,高い予測スコアを持つ負のカテゴリをハードカテゴリとして選択する。 NCLでは、2つの視点から学ぶことはネストされ、非常に関連があり、補完的であり、ネットワークがグローバルでロバストな特徴だけでなく、注意深く区別する能力も捉えるのに役立つ。 さらに、自己スーパービジョンは機能強化のためにさらに活用される。 広範な実験により,単一モデルかアンサンブルかに関わらず,最先端技術よりも優れた手法が得られた。

関連論文リスト

• Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels [27.53399899573121]
  本稿では,強化学習の探索能力と教師あり学習の活用能力を組み合わせたRLベースのフレームワークを提案する。 文書レベルの関係抽出を含む各種タスクに対する実験結果から,フレームワークの一般化と有効性を示す。
  論文  参考訳（メタデータ） (2024-06-24T03:36:19Z)
• NCL++: Nested Collaborative Learning for Long-Tailed Visual Recognition [63.90327120065928]
  本研究では,Nested Collaborative Learning (NCL++)を提案する。 長期学習における協調学習を実現するために,バランスの取れたオンライン蒸留を提案する。 混乱するカテゴリにおける細かな識別能力を改善するために,さらにハードカテゴリーマイニングを提案する。
  論文  参考訳（メタデータ） (2023-06-29T06:10:40Z)
• Hierarchical Contrastive Learning Enhanced Heterogeneous Graph Neural Network [59.860534520941485]
  ヘテロジニアスグラフニューラルネットワーク(HGNN)は、異種情報ネットワーク(HIN)を扱う能力に優れていた。 近年,自己指導型学習は最もエキサイティングな学習パラダイムの1つとなり,ラベルがない場合に大きな可能性を示す。 本稿では,自己教師型HGNNの問題点を考察し,HGNNのための新しいコントラスト学習機構であるHeCoを提案する。
  論文  参考訳（メタデータ） (2023-04-24T16:17:21Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Collaboration of Pre-trained Models Makes Better Few-shot Learner [49.89134194181042]
  少ないショット分類では、限られた訓練画像からのみ、一般化された表現を学習するために、ディープニューラルネットワークが必要である。 最近、CLIPベースの手法は、対照的な言語イメージ事前トレーニングの恩恵を受け、有望な数ショットのパフォーマンスを示している。 我々は,様々な事前学習パラダイムから様々な事前知識を取り入れた事前学習モデルのコラボレーションであるCoMoを提案する。
  論文  参考訳（メタデータ） (2022-09-25T16:23:12Z)
• Semi-Supervised Learning with Multi-Head Co-Training [6.675682080298253]
  半教師付き画像分類のためのシンプルで効率的なコトレーニングアルゴリズムであるMulti-Head Co-Trainingを提案する。 統一モデルのすべての分類ヘッドは、「弱強増強」戦略を通じて仲間と相互作用する。 標準的な半教師付き学習ベンチマークにおいて,マルチヘッド・コレーニングの有効性を実証した。
  論文  参考訳（メタデータ） (2021-07-10T08:53:14Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。